百度王海峰：規模定律未來幾年仍有效

6月14日,2024北京智源大會在京舉行。百度首席技術官王海峰受邀出席並作主旨演講,對人工智慧技術發展作出最新判斷。王海峰認為,大模型為通用人工智慧帶來曙光,可以從兩個角度解讀,一是人工智慧技術的通用性,二是能力的全面性。從人工智慧技術發展趨勢來看,未來幾年,規模定律依然有效,大語言模型仍有很大提升空間,多模態大模型會越來越好用,智慧體技術逐漸成熟加速應用爆發等。

通用人工智慧新視角:技術通用、能力全面

人工智慧是模擬、延伸和擴展人的智慧。王海峰認為,大模型為通用人工智慧帶來曙光,可以從兩個角度解讀,一是人工智慧技術的通用性,二是能力的全面性。

人工智慧技術歷經幾十年發展,從早期的人工撰寫規則,到後來統計機器學習,可以自動從數據中學習,但解決不同場景的問題需要不同的演算法,演進到深度學習時代,演算法的通用性大大加強,深度神經網路一套架構和技術可以解決各種問題,再到大模型時代,除了演算法,模型也變得更加通用和統一。

在技術的通用性方面,大模型在解決不同任務、語言、模態、場景的通用性都變得越來越好。以自然語言處理為例,之前有分詞、句法分析、語義匹配、機器翻譯、問答、對話、等等很多個子方向,現在一個大語言模型就可以解決絕大多數任務;語言方面,大模型既可以解決單語言的問題,也可以跨語言,不僅學習了人類的自然語言,也學習了人工定義的形式語言,架起了從思考到執行的橋梁;同時,大模型也可以實現多模態的統一建模,廣泛賦能各行各業應用,等等。總體上,人工智慧技術的通用性越來越強。

在能力的全面性方面,理解、生成、邏輯、記憶是人工智慧的四項基礎能力,其他各項人工智慧的典型能力,無論是創作、解題、代碼,還是規劃、決策等等,基本上都是這四項基礎能力的綜合運用。這四項能力越強,越接近通用人工智慧。

文心大模型技術解讀

文心一言是百度自主研發的新一代知識增強大語言模型,基於更強平臺、更優數據和更好演算法訓練,從萬億數據和千億知識中融合學習,突破知識內化與外用技術,具備知識增強、檢索增強和對話增強的核心技術,在基礎模型訓練、數據構建與優化、對齊技術創新、提示優化、智慧體機制等方面進一步創新突破。

智慧體是在基礎模型上,進一步進行思考增強訓練,包括思考過程的有監督精調、行為決策的偏好學習、結果反思的增強學習,進而得到思考模型。智慧體的思考模型可以調用工具來完成任務。代碼智慧體首先通過思考模型理解用戶需求,經過思考,把完成任務的指令和相關資訊整合成提示,輸入給代碼解釋器;然後,代碼解釋器根據提示,把自然語言表達的用戶需求翻譯成代碼並執行,相當於“用模型寫代碼讓複雜的任務變簡單”。

公開資料顯示,百度自2010年起開始全面佈局人工智慧,2019年3月推出文心大模型1.0,持續迭代升級,去年10月發佈文心大模型4.0。文心大模型的持續快速進化,得益於百度在晶片、框架、模型和應用上的全棧佈局,尤其是飛槳深度學習平臺和文心的聯合優化。文心大模型的周均訓練有效率達到98.8%,相比一年前文心一言發佈時,訓練效率提升到當時的5.1倍,推理105倍。

人工智慧進入工業大生産

對於人工智慧技術的進一步發展,王海峰認為,規模定律未來若干年仍將有效;大語言模型現在能力很強,還在快速進步,未來仍有很大提升空間;多模態大模型會越來越好用;智慧體技術會越來越成熟。人工智慧技術正在加速進步,産業進入爆發期。

王海峰指出,縱觀人類經歷的前三次工業革命,其核心驅動力量機械技術、電氣技術和資訊技術都有很強的通用性,會應用於各行各業,當它們呈現出標準化、自動化和模組化的工業大生産特徵,核心技術就進入工業大生産階段。人工智慧基於深度學習及大模型工程平臺,包括演算法、數據、模型、工具等,也已經具備了非常強的通用性,並且具備了標準化、模組化和自動化的特徵,所以深度學習及大模型工程平臺推動人工智慧進入到了工業大生産階段,通用人工智慧將加速到來。