中國網/中國發展門戶網訊 5月6日，在華為昇騰AI開發者峰會上，中國科學院自動化研究所“紫東太初”大模型研究中心常務副主任、武漢人工智慧研究院院長王金橋研究員介紹，基於華為全棧國産化軟硬體平臺昇騰AI與開源AI框架昇思MindSpore，中國科學院自動化研究所和武漢人工智慧研究院正在聯合打造 “紫東太初”2.0全模態大模型，可實現文本、圖片、語音、視頻、3D點雲、傳感信號等不同模態的統一表徵和學習，助推通用人工智慧時代加速到來。

圖為中國科學院自動化研究所“紫東太初”大模型研究中心常務副主任、武漢人工智慧研究院院長王金橋研究員。

超前佈局，堅持以多模態技術探索通用人工智慧

從嬰幼兒開始，人類的認知學習就是建立在對現實世界圖像、聲音和文字等多種模態資訊基礎之上。突破模態限制，實現圖、文、音等更多模態的通用大模型是人工智慧融入現實世界的必然。

2019年開始，自動化所在語音、文本、圖像等單模態大模型研究和應用基礎上，瞄準多模態大模型領域開始聯合攻關，並於2021年7月正式發佈了全球首個千億參數多模態大模型“紫東太初”，以多模態技術探索通用人工智慧發展道路。

區別於當前以文本為主的大部分語言大模型，“紫東太初”大模型在研發之初即堅持以多模態技術為核心，利用圖-音-文等更多類型數據進行跨模態的統一表徵和學習，實現了圖像、文本、語音三模態數據間的“統一表示”與“相互生成”，使人工智慧大模型的理解和生成能力更加接近人類，為貫通多模態人工智慧行業應用提供了創新基礎，向通用人工智慧邁出關鍵一步。

從感知到認知，面向數字物聯世界再上新臺階

世界已經進入了數字物聯時代。在“紫東太初”1.0應用推廣過程中，除了需要處理海量語音、圖像和文本等網際網路資訊外，更需要處理多種感測器、3D點雲及視頻等物聯網海量數據，才能滿足現實生産力的提高。針對數字物聯時代的新需求與新趨勢，中科院自動化研究所研究探索全模態大模型體系架構和基礎演算法，持續推動“紫東太初”技術和應用發展。

在文本、圖片、音頻、視頻的基礎上，“紫東太初” 2.0可融入3D、視頻、傳感信號等更多模態數據，並優化語音、視頻和文本的融合認知以及常識計算等功能，進一步突破感知、認知和決策的交互屏障，讓人工智慧從感知世界進化為認知世界，延伸出更加強大的通用能力。

打造全棧國産化通用人工智慧底座

全棧國産化通用人工智慧平臺的實踐對我國實現AI領域科技自立自強、佔領科技創新高地具有重要的戰略意義。“紫東太初”大模型從立項開始，就以中科院自動化所自研演算法為核心，以全棧國産化基礎軟硬體昇騰AI平臺為基礎，依託武漢人工智慧計算中心算力支援，真正意義上實現了國産人工智慧大模型的可控、可信、可用，有力地促進了國産全棧式基礎軟硬體的發展。

目前，由自動化牽頭打造的多模態人工智慧産業聯合體已陸續吸納産學研各界近70家成員單位。圍繞多模態大模型技術及應用，“紫東太初”大模型已在手語教學、法律諮詢、交通出行、廣電、醫療機器人、醫學影像判讀等數十個行業場景領域已展現出廣闊的落地潛力。在華為昇騰AI開發者峰會，“紫東太初”大模型開源了基於昇騰與昇思的3.8B圖像-文本-語音多模態模型並開放紫東太初大模型服務平臺。

從網際網路的圖音文多模態走向物聯網的全模態，以打造國産化通用人工智慧底座為目標，自動化所將持續推進“紫東太初”大模型基礎理論、關鍵技術和應用生態的全鏈條自主創新，著力以自主可控基礎軟硬體建立開源開放的多模態産業生態，不懈探索通用人工智慧創新路徑。