中國科學家提出具有內生複雜性的類腦計算方法
中國網/中國發展門戶網訊 構建更加通用的人工智慧,讓模型具有更加廣泛和通用的認知能力,是當前人工智慧(AI)領域發展的重要目標。目前流行的大模型路徑是基於Scaling Law(尺度定律)去構建更大、更深和更寬的神經網路,可稱之為“基於外生複雜性”的通用智慧實現方法。這一路徑面臨著計算資源及能源消耗難以為繼、可解釋性不足等問題。中國科學院自動化研究所李國齊、徐波研究團隊聯合清華大學、北京大學等借鑒大腦神經元複雜動力學特性,提出了“基於內生複雜性”的類腦神經元模型構建方法,改善了傳統模型通過向外拓展規模帶來的計算資源消耗問題,為有效利用神經科學發展人工智慧提供了示例。
本研究首先展示了脈衝神經網路神經元LIF(Leaky Integrate and Fire)模型和HH(Hodgkin-Huxley)模型在動力學特性上存在等效性,進一步從理論上證明了HH神經元可以和四個具有特定連接結構的時變參數LIF神經元(tv-LIF)動力學特性等效。基於這種等效性,團隊通過設計微架構提升計算單元的內生複雜性,使HH網路模型能夠模擬更大規模LIF網路模型的動力學特性,在更小的網路架構上實現與之相似的計算功能。進一步,團隊將由四個tv-LIF神經元構建的“HH模型”(tv-LIF2HH)簡化為s-LIF2HH模型,通過倣真實驗驗證了這種簡化模型在捕捉複雜動力學行為方面的有效性。
實驗結果表明HH網路模型和s-LIF2HH網路模型在表示能力和魯棒性上具有相似的性能,驗證了內生複雜性模型在處理複雜任務時的有效性和可靠性。同時,研究發現HH網路模型在計算資源消耗上更為高效,顯著減少了記憶體和計算時間的使用,從而提高了整體的運算效率。研究團隊通過資訊瓶頸理論對上述研究結果進行了解釋。
本研究為將神經科學的複雜動力學特性融入人工智慧提供了新的方法和理論支援,為實際應用中的AI模型優化和性能提升提供了可行的解決方案。目前,研究團隊已開展對更大規模HH網路,以及具備更大內生複雜性的多分支多房室神經元的研究,有望進一步提升大模型計算效率與任務處理能力,實現在實際應用場景中的快速落地。
該工作發表在《Nature Computational Science》,共同通訊作者是中國科學院自動化所李國齊研究員、徐波研究員,北京大學田永鴻教授。共同一作是清華大學錢學森班的本科生何林軒(自動化所實習生),數理基科班本科生徐蘊輝(自動化所實習生),清華大學精儀係博士生何煒華和林逸晗。