中國軟體評測中心最新報告：文心大模型技術、産品、應用全面領跑

近日,工業和資訊化部直屬國家一級科研事業單位中國軟體評測中心發佈《人工智慧大語言模型技術發展研究報告(2024年)》,總結梳理大語言模型技術能力進展和應用情況,肯定國産大模型的發展成果,為産業界選用大模型提供了權威參考。報告顯示,文心大模型技術、産品、應用全面領先,在智慧體、多模型創新具備先發優勢。

報告認為,百度文心大模型在晶片、框架、模型和應用領域進行全棧佈局,在理解、生成、邏輯、記憶等基礎能力以及安全能力方面全面領先,在智慧體、多模型等模式引領技術創新、生態豐富,在大模型應用開發平臺方面功能完備、應用領域廣泛。目前,文心大模型4.0 Turbo已正式發佈,速度更快,效果更好,網頁版、APP、API已陸續面向用戶開放。

算力、數據、演算法是大模型三大基石,深度學習框架至關重要

報告指出,軟硬協同的算力底座,高豐富度、高品質的數據,持續優化與創新的演算法是大模型的技術基石。尤其是 AI晶片、深度學習框架、大規模算力集群等構成的算力底座是實現大模型高效穩定訓練的基礎。深度學習框架扮演了至關重要的角色,百度飛槳(PaddlePaddle)是其中的代表。

飛槳集核心框架、基礎模型庫、端到端開發套件、豐富的工具組件于一體,實現了動靜統一的框架設計,兼顧科研和産業需求,在開發便捷的深度學習框架、大規模分佈式訓練、高性能推理引擎、産業級模型庫等技術上具備優勢。目前,專為大模型設計的飛槳新一代框架3.0已經發佈,具有動靜統一自動並行、編譯器自動優化、大模型訓推一體、大模型多硬體適配四大能力。最新數據顯示,截至目前,飛槳已擁有1465萬開發者,服務37萬家企事業單位,基於飛槳創建了95萬個模型,穩居中國深度學習平臺市場綜合份額第一。

飛槳深度學習平臺提供了高效的分佈式訓練架構,在萬卡集群上,飛槳能夠支援超大規模的模型訓練任務,實現大量計算節點之間的高效協同,更好地完成大模型的訓練任務,這不僅提高了訓練效率,而且降低了訓練成本。目前,文心大模型的周均訓練有效率已達到98.8%,相比2023年文心一言發佈時,訓練效率提升到當時的5.1倍,推理性能提升到105倍。

在演算法優化方面,國內大模型廠商通過多階段對齊、知識增強等加速提升大模型性能。百度採用有監督精調、偏好學習和強化學習等技術進行多階段對齊,逐步校準模型的行為,更準確地反映人類的意圖和偏好。報告強調,百度文心大模型4.0還在輸入、輸出兩個階段都運用知識點增強,提升大模型的準確性,做出更準確的預測和決策。

文心大模型綜合能力、效率優勢明顯,智慧體成重要發展方向

報告顯示,百度文心大模型在中文內容的生成和推理方面的能力十分優秀。在生成方面,文心大模型能根據給定的上下文或主題生成自然、流暢、富有創意的文本內容;在推理方面,能在應對複雜問題時進行深入分析和邏輯推理,給出更加準確和全面的答案。這使得文心大模型在中文語言處理領域具有獨特的優勢和價值。

智慧體是開發最簡單的AI應用,是大模型最看好的AI應用方向。以文心大模型為例,百度基於基礎模型,進一步進行思考增強訓練得到思考模型。智慧體可以通過思考模型的理解、規劃、反思能力,調用多個工具,完成複雜的任務。對 AI開發者來説,在搭建智慧體時,百度這樣的大模型服務商只要給出可調用的工具,以及相應的“説明書”即可。

報告中提到智慧體的另一大應用是“代碼智慧體”。近日,百度智慧代碼助手Comate發佈中文名“文心快碼”,並升級至2.5版本。目前百度80%的工程師已經在深度使用文心快碼,代碼採納率已達到46%,新增代碼生成佔比29%。

百度首提多模型應用理念,大模型落地持續領先

報告認為,未來大模型的發展趨勢包括多模態數據融合、提升自適應和遷移學習能力、可解釋性演算法提高模型透明度、提升産品研發針對性和定制化水準,以及從垂直領域入手開發專用大模型産品等。面對未來趨勢,報告認為以文心大模型為代表的國産大模型在技術和産品上已具備顯著特點,形成了一定的優勢。

目前,文心大模型的模型研發平臺化效率已實現快速提升,背後是百度在晶片、框架、模型和應用領域的全棧佈局和端到端優化。從應用角度看,除基礎模型的本身外,文心大模型已經發展出智慧體、多模態等多種創新應用模式,出現代碼生成、文生圖、視頻生成、數字人、自動駕駛等豐富多樣的應用生態。針對大模型的落地,百度在2024年AI開發者大會上首提多模型應用理念。研發側通過大小模型協同訓練機制,高效、低成本地進行模型生産;應用側構建智慧路由模型,發揮不同模型處理不同任務的能力,達到效果、效率和成本的動態平衡。

2023年以來,人工智慧大模型開啟新一輪人工智慧發展浪潮,成為科技産業發展強勁動能。2024年則有望成為大模型商業落地元年。百度文心大模型等國産模型在底層技術、核心能力和創新應用上展現出可貴的發展態勢,具有廣闊的應用前景和巨大的潛力。