岩芯數智RockAI打破“有損壓縮”魔咒 助低算力設備實現強大多模態能力

　　7月4日-7月7日,2024世界人工智慧大會(WAIC)暨人工智慧全球治理高級別會議在上海舉行，岩芯數智RockAI攜Yan1.2多模態大模型亮相。

　　在大會現場，研發團隊展示了一款部署了Yan1.2多模態大模型的智慧機器人小智，它能夠基於Yan1.2的語音和視覺處理能力，實時識別環境、準確理解用戶的模糊指令和意圖，並據此控制其機械軀體高效完成各類複雜任務。值得一提的是，此次“小智”機器人搭載的核心硬體是以低算力著稱的樹莓派第五代晶片。在極低算力的設備上實現了強大的多模態能力。

　　據悉，樹莓派的算力只有普通電腦的八分之一，可廣泛應用於物聯網、工業自動化、智慧家居等場景及設備，譬如門禁、機器人等終端，同時，大部分情況沒有聯網。而目前的Transformer大模型不經壓縮和裁剪是很難部署到樹莓派上的在向更多低算力端側設備相容的路上，RockAI一邊通過自研底層架構減少算力消耗，一邊憑藉演算法創新進一步降本增效，打破大模型在端側部署“有損壓縮”的魔咒。

　　在PC端和手機端，Yan1.2可流暢地執行大規模數據集的自然語言處理任務和複雜計算，無需依賴雲端即可實現快速響應，實現每秒20+tokens的輸出，其Agent聯動能力可根據用戶指令進行圖文識別、主體創作等多項任務，為用戶提供更優質的體驗。而在樹莓派這樣的微型電腦上，Yan模型甚至實現了每秒6-7個tokens的響應速度。

　　公開資料顯示，在今年1月，RockAI推出了國內首個非Attention機制的Yan架構，以線性計算取代Attention，大幅降低算力需求。其雲端大模型以百億級參數媲美千億參數大模型性能效果的同時，Yan1.0版本在個人電腦端的成功運作，也證實了Yan模型“原生無損”在主流消費級CPU等端側設備上運作的實操性。歷經半年的技術更新和迭代升級，Yan1.2更進一步，以6+ tokens/s的速度“原生無損”跑通樹莓派，打開了低算力設備端及離線多場景應用的大門。

　　以往對於大模型的開發主要是通過預訓練和後期的微調對齊，對於大模型在通用場景的使用來説綽綽有餘，但換一個沒有經過預訓練的工作場景，一切都要從頭再來。據悉，在Yan架構設計之初，RockAI首創性地提出了相應的解決方案——“同步學習機制”，也就是讓模型具備實時學習的能力，可以在推理的同時，實時有效且持續性地進行知識更新和學習，無需“返廠”進行再次更新或預訓練，從而使得大模型可以像人類學習一樣建立自己獨有的知識體系。

　　正如RockAI CEO劉凡平所説：“我們所構想的通用人工智慧,是在諸如智慧手機、機器人以及其他多樣化設備上展現出的非凡適應力與高度個性化的交互能力。RockAI期待能夠重新定義大模型的價值，讓世界上每一台設備都擁有自己的智慧，讓每個人都能擁有專屬的個性化人工智慧服務。”