9月6日,百川智慧召開主題為“百川匯海,開源共贏”的大模型發佈會,正式開源微調後的Baichuan2-7B、Baichuan2-13B、Baichuan2-13B-Chat與其4bit量化版本,並且均為免費可商用。
據介紹,Baichuan2-7B-Base和Baichuan2-13B-Base均基於2.6萬億高品質多語言數據進行訓練,在保留了上一代開源模型良好的生成與創作能力,流暢的多輪對話能力以及部署門檻較低等眾多特性的基礎上,兩個模型在數學、代碼、安全、邏輯推理、語義理解等能力有顯著提升。
其中Baichuan2-13B-Base相比上一代13B模型,數學能力提升49%,代碼能力提升46%,安全能力提升37%,邏輯推理能力提升25%,語義理解能力提升15%。
Baichuan2-7B和Baichuan2-13B不僅對學術研究完全開放,開發者通過郵件申請獲得官方商用許可後,即可以免費商用。
大模型訓練包含海量高品質數據獲取、大規模訓練集群穩定訓練、模型演算法調優等多個環節。每個環節都需要大量人才、算力等資源的投入,從零到一完整訓練一個模型的高昂成本,阻礙了學術界對大模型訓練的深入研究。
百川智慧本次開源了模型訓練從220B到2640B全過程的Check Ponit,並宣佈將發佈 Baichuan 2技術報告,詳細介紹Baichuan 2的訓練細節,幫助大模型學術機構、開發者和企業用戶更深入的了解其訓練過程,更好地推動大模型學術研究和社區的技術發展。
百川智慧由前搜狗CEO王小川創辦於今年4月,已相繼發佈Baichuan-7B、Baichuan-13B兩款開源免費可商用的中文大模型,以及一款搜索增強大模型Baichuan-53B。8月31日,百川智慧宣佈百川大模型通過《生成式人工智慧服務管理暫行辦法》備案,面向公眾開放。
(責任編輯:譚夢桐)