存內計算由於突破傳統馮·諾依曼架構瓶頸,實現了存儲單元與邏輯單元的融合,成為實現智慧計算的主要技術路線之一,受到業界龍頭大廠的高度重視。在近日召開的國際固態半導體電路會議(ISSCC)上,SK海力士發表了基於GDDR介面的DRAM存內計算,臺積電共發表(或合作發表)6篇有關存內計算記憶體IP的論文。隨著人工智慧對高性能、低功耗處理需求的不斷增強,存內計算的開發進程必將不斷加快,並走向現實應用。
存內計算受關注龍頭大廠重點佈局
ISSCC一向是半導體産業界展示最新研發成果的平臺之一,在今年的發佈重點中,存內計算無疑位列其中。SK海力士發表存內計算的開發成果——基於GDDR介面的DRAM存內計算,並展示了其首款基於存內計算技術産品——GDDR6-AiM的樣本。
SK海力士表示,GDDR6-AiM是將計算功能添加到數據傳輸速度為16Gbps的GDDR6記憶體産品中。與傳統DRAM相比,將GDDR6-AiM 與CPU、GPU相結合的系統可在特定計算環境中將計算速度提高16倍。此外,由於存內計算在運算中減少了記憶體與CPU、GPU間的數據傳輸往來,大大降低了功耗,GDDR6-AiM可使功耗降低80%。SK海力士解決方案開發擔當副社長安炫表示:“基於具備獨立計算功能的存內計算技術,SK海力士將通過GDDR6-AiM構建全新的記憶體解決方案生態系統。”
臺積電在存內計算研發方面的投入也很大。在本屆ISSCC上,臺積電共合作發表了6篇關於存內計算記憶體IP的論文,其中一篇的作者全部來自臺積電,其餘5篇則是臺積電和其他高校合作。臺積電獨立發表的SRAM論文基於5nm工藝,可以在不同計算精度下實現高計算密度和能效比。
事實上,三星、IBM、東芝、英特爾等半導體大廠在存內計算方面也早有佈局。三星在2021年發佈的HBM2-PIM,使用Aquabolt-XL技術圍繞HBM2 DRAM進行存內計算,可實現高達1.2TFLOPS的計算能力。
國內廠商方面,阿裏達摩院、知存科技、Myhtic等也以AI為契機,積極進行特定領域、特定功能的AI存算一體晶片開發。去年5月,Myhtic宣佈完成C輪7000萬美元融資。去年6月,知存科技宣佈完成億元A3輪融資。
AI應用需求推動邁入産品化前夜
隨著人工智慧應用的爆發,業界迫切需要一項技術來解決傳統馮·諾依曼架構存在的算力瓶頸與高功耗問題。這也是一眾半導體大廠關注存內計算的主要原因。
對此,有業內專家告訴記者,當前主流的計算架構均採用馮·諾依曼架構,其存在兩個固有問題,即所謂的記憶體墻問題和功耗墻問題。馮·諾依曼架構的計算單元與存儲單元分置,之間用數據總線連接,運算過程中就需要使數據在處理器與記憶體之間進行頻繁遷移,這一過程産生的功耗極為巨大,甚至比真正用於數據處理所産生的功耗還要高上百倍。記憶體墻則是指目前的CPU運算速度比記憶體的數據存取速度快得多,記憶體成為制約數據處理速度提高的主要瓶頸。現在人們應對這個問題的主要方法是提高記憶體的處理速度或加大數據傳輸頻寬,但這些都不能從根本上解決問題,開發一種將存儲單元與處理單元完全整合的處理器方案,就成為解決這一問題的終極方案。
SK海力士定制設計項目負責人Dae-han Kwon也指出:“對於RNN(迴圈神經網路)等記憶體受限的應用程式,當應用程式在DRAM中使用計算電路執行時,性能和功率效率有望顯著提高。考慮到要處理的數據量將大幅增加,存內計算有望成為改善當前電腦系統性能極限的有力候選者。”
正是在人工智慧特別是邊緣AI應用需求的推動下,存內計算的産品化開發進程也在加快。根據北京大學資訊科學技術學院微納電子學系副教授葉樂的介紹,存內計算技術大概率會實現産品化。目前基於SRAM的存內計算,已經進入到産品化的前夜,有望率先在可穿戴設備、智慧手機等智慧物聯網AIoT領域應用,估計1~2年就有望看到産品級的SRAM存內計算晶片實現商業化落地。在此之後,存內計算晶片會逐漸往更大算力的應用領域滲透。基於MRAM的存內計算則會稍微滯後一些,這主要跟工藝可獲得性有關。基於DRAM的存內計算晶片,有可能需要更長的時間才會落地,原因在於DRAM存內計算適用於大算力AI晶片,因此還需要解決其他一系列的技術難題,例如陣列間的互連和架構問題等。此外,大算力晶片,往往對通用性和可編程性要求更高,因此對於大算力晶片,架構需要更多地考慮通用性和可編程性,並且軟硬體協同設計、編譯器等工具鏈的重要性和難度也更為突出。
葉樂強調,不同應用場合對存內計算的需求也不同,消費電子、物聯網終端、邊端計算、雲端計算對功耗、能效、算力密度、Bit精度、絕對算力、成本、是否需要非易失性等方面的側重點和側重程度各不相同,因此各類存內計算技術,均有發展的必要性。
生態搭建有挑戰存內邏輯是方向
儘管存內計算的商業化進程不斷臨近,但在開發與應用中存在的挑戰也不容忽視。業內專家指出,相較于傳統處理器,存內計算本身就是一門非常複雜的、技術壁壘極高的設計方法,屬於需要多年經驗積累、大量資源以及時間投入才能實現的尖端領域。而更大的挑戰還涉及相關産業生態的整合,其中面臨的挑戰更加複雜。
在馮·諾依曼架構下,處理器與記憶體是分別獨立發展的,經過這麼多年均已各自形成獨立的産業生態,從設計到製造再到軟體都已相當完備。而存內計算要想發展起來,實際是要將兩個獨立的生態整合到一起,其中要投入的精力和資源是非常巨大的。
儘管存內計算面臨技術開發與産業生態的雙重挑戰,但是其整體發展趨勢依然被看好。葉樂指出,存內計算將是大勢所趨,只有這種革命性的徹底的架構革新,才能真正解決記憶體墻和功耗墻的問題。從技術趨勢上看,存算一體晶片將循著近存儲計算、記憶體儲計算、記憶體執行計算的技術路線發展。
此外,基於哪類存儲進行存內計算設計也是開發重點之一。此次SK海力士便基於DDR進行開發的,臺積電則是基於SRAM。對此,專家指出,目前開發者的研究之所以多基於SRAM展開,一方面是因為SRAM比較容易獲得,SRAM在標準CMOS工藝下即可得到,流片門檻較低。另一方面則因SRAM的存取速度是所有主流記憶體中最接近CPU的,基於它進行存內計算開發,最容易解決記憶體墻問題。但是SRAM也存在晶片成本高、面積大的問題。更重要的是,SRAM屬易失性記憶體,斷電後數據無法保存,還要把數據傳輸到其他NAND Flash等記憶體當中,並不能從根本上解決功耗問題。NAND快閃記憶體等非易失性記憶體可以保存處理後的數據,還具有成本低、容量大等優勢,但是NAND快閃記憶體的存取速度慢,依然限制著未來存內計算晶片的速度。
因此,專家認為,對於那些投入存內計算開發的半導體大廠來説,將來更大的可能是基於新型記憶體如MRAM、ReRAM等,做存內計算的開發。此類新型記憶體一些性能上的優勢是傳統記憶體所不具備的。當然,專家也指出,當前業界開發的新型存儲技術工藝還不成熟,以之為基礎進行存內計算或許需要的更長研發時間。(記者 陳炳欣)