首款類腦互補視覺感知晶片誕生,中國類腦研究成果再登Nature封面

近日,清華大學施路平、趙蓉教授團隊發佈了首款類腦互補視覺感知晶片——“天眸芯(Tianmouc)”,相關研究論文《面向開放世界感知的類腦互補視覺晶片》(A vision chip with complementary pathways for open-world sensing)登上了2024年5月30日正式刊發的《自然》 (Nature)雜誌封面。這是該團隊繼異構融合類腦計算“天機芯”後,第二次登上《自然》封面,標誌著我國在類腦計算和類腦感知兩個重要方向上均取得了基礎性突破。論文合作單位包括北京靈汐科技有限公司,此項研究也得到了科技部以及國家自然基金的相關資助。

圖1:施路平團隊發表文章兩次登上Nature封面(左邊為2019年8月文章,右邊為2024年5月文章)

原理:“多通路互補”的類腦視覺感知晶片

在未來通用人工智慧尤其是具身智慧發展過程中,科學家會不斷從人類大腦及神經形態的研究中獲得啟發。如果我們把計算晶片比作智慧系統的大腦,那麼視覺感知晶片就是它的眼睛。然而,在面對複雜多變和不可預測的開放世界環境時(平時冗余數據多但又會突發極端事件),現有視覺感知晶片受制于頻寬限制和功耗問題,不能做到同時兼顧採樣速度、動態範圍、解析度和數據精度。例如在自動駕駛中,傳統圖像感測器在面臨突發危險、隧道出入口劇烈光線變化、夜間的對向大燈和道路監控閃光干擾等極端場景時(速度和動態範圍加大),往往就會面臨強烈的失真和失效(解析度和精度變低)。這種“相互制約、不可兼顧”的視覺感知問題極大地限制了真實開放世界中的智慧應用發展。

“天眸芯”則從人類視覺系統的模式出發,創新提出了一種視覺感知晶片設計的範式——“多通路互補”。它首先模倣人眼,自動把看到的場景分解成很多元素(視覺原語),包括物體運動、輪廓邊緣、色彩以及不同區域之間的對比度等資訊;接著它模倣人腦的處理機制,把這些資訊分配到不同的“處理通路”中去,就像工廠的多個流水線;然後它又模倣人腦響應機制,對“時間空間變化”的資訊進行響應,並讓時空變化和色彩等其他資訊互補,如同在流水線之間又做了連接和協同。這種範式實現了高效率的同時響應多種視覺性能要求,而且大大緩解了傳輸頻寬緊張和功耗問題。

優勢:“四高兩低”性能及廣泛應用潛力

基於上述“多通路互補”感知的基本原理,新型類腦感知晶片“天眸芯”同時具備了“四高兩低”的成像特徵:一是高速感知,“天眸芯”能夠在保持較高像素的前提下達到1秒拍攝10000張圖像(10,000fps@640*320);二是高動態範圍,“天眸芯”能檢測的明暗信號對比超過300萬倍(130dB);三是高靈敏度,該晶片採用背照式圖像感測器工藝,其峰值量子效率達到72%,並支援近紅外感知(72%@530nm,NIR);四是高精度,“天眸芯”色彩資訊更為豐富,採用10bit記錄色彩資訊;五是低功耗,該晶片工作功耗約300mW,僅為傳統高速圖像感測器的十分之一;六是低頻寬,相較于傳統高速相機,“天眸芯”降低了90%的頻寬。從以上性能來看,“天眸芯”的綜合指標已大幅超過傳統高速圖像感測器、傳統高動態範圍圖像感測器和神經形態感測器。

圖2:“天眸芯”的類腦互補視覺感知架構圖

為驗證“天眸芯”的應用價值,研究團隊還開發了智慧駕駛感知演示平臺,搭載了基於“天眸芯”開發的成像設備,並在開放道路進行了實地測試。結果表明,在車輛以60公里時速行駛條件下,基於“天眸芯”的成像設備僅需0.1毫秒即可感知突發的道路危險情況,相比傳統圖像感測器更為準確和快速(速度提升近300倍)。測試結果證明了“天眸芯”的顯著優勢,在工業視覺、高性能機器人、智慧駕駛等實際應用場景中具有極高的價值。未來類腦計算晶片和類腦感知晶片的結合,將讓機器不僅能夠像人一樣思考,還能夠像人一樣感知和理解周圍的世界,為交通、醫療、教育、工業等領域帶來更大的變革。

圖3:基於“天眸芯”的智慧駕駛感知演示平臺

加速:從科研成果到産業生態

類腦智慧是一種受到生物腦結構和功能啟發的人工智慧範式,指通過借鑒生物腦的結構、功能和運作原理而構造的智慧體,該智慧體可獨立工作、也可與生物腦交互工作。類腦智慧主要包括類腦計算、類腦感知、腦機介面等三大領域。類腦計算和類腦感知融合,具有“感存算一體、稀疏計算、時空敏感、極低能耗”的優勢特徵,可以在已有硅基晶片工藝基礎上搭建新架構,因此被認為是即將到來的未來産業。在我國類腦計算的發展過程中,高校團隊的基礎科研提供了重要的技術源頭。來自清華大學施路平教授團隊成功發展了覆蓋架構、晶片、系統和軟體工具鏈的完整類腦計算技術棧,並在《自然》、《自然(通訊)》以及《科學(機器人)》等相關刊物上發表了數篇重要論文,涉及類腦計算架構、類腦計算完備性證明、混合神經網路、機器人類腦系統等一系列重要議題。2019年8月,施路平教授團隊的首篇Nature封面文章,標誌著類腦計算科研領域開始取得重大突破。

2021年,北京靈汐科技依託清華相關研究成果,進一步研製出首款商用的異構融合類腦計算晶片KA200及HP系列計算板卡,推動了産業應用生態。近期,相關科研機構和企業合作,還將發佈新一代類腦開發者平臺——“腦啟雲與腦啟社區”,提供資源開源共用與技術學習支援,進一步助力生態建設。

而此次中國學者的相關研究成果再登Nature封面,既標誌著類腦感知科研領域的新突破,也預示著類腦智慧的創新與産業生態發展即將駛入快車道。