華為雲田奇：如何煉成盤古行業大模型

在華為開發者大會2023(Cloud)上,華為雲人工智慧領域首席科學家田奇演講中表示,華為雲將踐行AI for Industries,將盤古大模型打造成行業大模型,助力千行百業智慧化升級。

華為雲人工智慧領域首席科學家田奇

田奇表示,生成式AI是智慧化升級的新浪潮,大模型是生成式AI的核心。但目前全球基於大模型開發ToB應用的企業還不到三分之一,行業中的海量業務場景迫切需要更多專業的大模型和專業的AI應用來解決,來彌補通用大模型落地行業的不足。

他認為,通用大模型落地行業需要解決專業性、技能和數據安全合規三方面的挑戰。

首先,通用大模型雖然通用性強,但專業性弱,需要具備行業專業知識才能給出專業準確的回答。其次,通用大模型雖然知識面廣,但技能不足,企業場景複雜,需要模型具備多種技能。最後,數據安全合規也是一個挑戰,因為數據是企業的核心資産之一,訓練和使用大模型需要保障企業的數據安全合規。

為了應對這一挑戰,華為雲基於實踐打造了分層解耦的大模型架構,加速大模型落地千行百業。該架構分為三層:L0、L1和L2。L0層是基礎大模型,包括語言、視覺、多模態、預測、科學計算等五大基礎模型,以及基於有監督微調和強化學習的上百種能力集。L1層是行業大模型,基礎大模型學習行業知識,適配行業工作流程,形成具備專業能力的行業大模型。L2層是場景模型服務,提供開箱即用的AI應用。

田奇介紹了華為深耕行業,讓盤古大模型從“知”到“行”的四大關鍵舉措:

沉澱行業知識:學習10多個行業的公開數據和專有數據,掌握豐富的行業知識和機理。

淬煉行業技能:結合專家和行業數字環境的反饋進行強化學習,以達到符合行業應用的最佳結果。

對話專業工具:打通10多個行業插件,包括數學計算、知識圖譜、求解器等,讓大模型能重用大量行業資産、行業工具。

保障安全合規:提供公有雲、混合雲、大模型專區三種部署模式,保障安全部署;建立長效機制,確保數據集來源和使用合規、數據全生命週期安全、構建完整的數據標注以及審核機制、構建模型合規使用政策、確保模型使用邊界。

此外,田奇還展示了華為雲盤古大模型工程化套件,覆蓋了數據處理、模型訓練和應用開發三大環節。該套件提供了基於模板的Prompt線上輔助撰寫功能、多人Rank線上標注和任務分撥功能等數據工程能力;提供了自監督預訓練、有監督SFT訓練、強化學習訓練等三種工作流,支援一站式開發;提供了多種API和可調用工具,支撐企業分鐘級構建大模型原生應用。

田奇表示,盤古大模型工程化套件把複雜的大模型開發過程,流程化,標準化,簡單化,幫助行業用戶一鍵啟動,實現一站式開發。基於華為雲盤古大模型工程化套件,完成一個千億行業模型端到端的開發,從過去需要5個月縮短到現在1個月,整體速度提升5倍。田奇以學習和共建語言範式的盤古阿拉伯語大模型、發現和預測自然規律的盤古氣象大模型以及理解和驅動行業升級的盤古鐵路大模型這三個行業大模型為例,介紹了華為雲如何以沉澱的工作方法和工程套件,為這些行業帶來的全新革新。