日前,由中國科學院、中國工程院等多名院士領銜的第二屆中國電腦學會晶片大會(CCF Chip 2024)在上海圓滿落幕。作為國記憶體儲控制晶片領域領軍企業,得一微電子CEO吳大畏先生發表特邀報告《存儲晶片在AI端側設備的前沿應用與未來展望》,他和與會專家一道,深入探討AI終端部署的計算與功耗瓶頸,以及智慧計算與新興存儲技術的融合,為存算技術發展提供前沿研究。
在AI時代,儘管HBM在記憶體市場大行其道,但非揮發存儲如eNVM和傳統NAND Flash在AI時代正悄然變革,並在業界産生新的影響。吳大畏先生在演講中,探討了存儲晶片和AI端側設備未來應用的方向,這些方向雖不一定都會成為未來,但無疑具有引領市場的潛力,可能預示著真實的未來趨勢。
AI與端側設備相互依存、相互支撐
提及AI,必然涉及端側AI的應用。吳大畏先生首先列舉了AI在端側應用的六大主要設備:AI智慧手機、AI PC、智慧物聯網設備、智慧汽車、健康監測設備以及智慧安防監控,並指出AI應用主要涵蓋智慧家居(消費領域)、智慧製造(工業領域)以及智慧城市(工業及更廣泛的社會應用領域)三大核心場景。這些多樣化的設備和場景組合共同構成了豐富多彩的AI應用場景。
在吳大畏先生看來,未來AI應如空氣般無處不在,深入每個使用環境,成為主動而非被動式存在。這意味著AI需落地端側,實現潤物細無聲的存在,讓用戶每天如呼吸空氣般感受不到其存在,卻又無處不在。因此AI落地端側,除了對算力的要求外,還需考慮數據安全、高性能與低延時、用戶體量和黏度、優異的成本效益等。而端側設備對AI也有需求,包括多模態資訊的輸入輸出能力、本地決策能力和精準的個性化體驗等,AI與端側設備兩者相互依存,相互發展。
接著,吳大畏先生還深入探討了非揮發存儲與AI結合的多層次演進方式。他指出,非揮發存儲自身的演進將追求更高性能、吞吐率、併發性、安全性和容量,以及針對AI應用的優化;此外,非揮發存儲和計算系統的介面演進,在不同應用中也將呈現多樣化發展路徑。嵌入式存儲如手機可能會沿UFS3.0、UFS4.0等路徑升級。在PC領域則向PCIe Gen5、Gen6、Gen7發展,互聯可能向CXL方向演進,並有望從企業級擴展到消費電子端側。最後,存儲互聯和計算的整生態優化,最終達到性能提高、功耗降低、成本降低的目標。未來系統同時實現這三點,關鍵在於優化算力、存力和數據傳輸的緊致分配。
隨著AI産業的發展,端側設備可能需要承載更多增長訓練,以及驗證、推理等後續工作,端側將逐漸支援相關生態和應用的發展。根據微軟和摩根士丹利等機構的預測,到2024年底,AI PC銷售量有望達到5000萬台,佔PC市場的20%左右;全球新一代AI手機出貨量將達1.7億部,佔智慧手機出貨量的15%左右。到2028年,AI PC滲透率預計將達到64%,AI手機市場份額將達到54%。從産業鏈發展的角度來説,這個增長速度無疑是令人矚目的。
在此基礎上,吳大畏先生進一步從AI手機、AI PC、智慧汽車、AI存儲等場景出發,分享了他的深入見解和展望。
存儲應對AI智慧手機的挑戰
面對AI智慧手機挑戰,關鍵在於實現手機端側AI應用的高效運作。手機端側的AI應用對算力和DRAM提出了更高要求。鋻於DRAM在端側成本中的高佔比,若採用高算力GPU配合大容量DRAM,可能會導致成本顯著上升。為解決這一問題,關鍵在於將非揮發存儲與DRAM、GPU、NPU、APU、TPU、CPU等組件進行有機結合,在成本與性能之間找到平衡點,並有望在未來實現手機端的增長訓練。同時,這種結合方式還能最大限度地保護用戶隱私,並確保系統能夠實時響應用戶的個性化需求。
如若像蘋果公司在其藍圖中所規劃的那樣,將AI智慧手機演變為個人工作、生活小助理,則需解決在記憶體有限的情況下如何訓練和應用大型模型的問題。這通常涉及將非揮發存儲與記憶體進行組合使用,同時還需要進行模型壓縮、存儲結構優化以及演算法本身的優化。
AI PC從被動式存儲轉變為主動式存儲
接著吳大畏先生探討了AI PC端側的存儲需求。AI PC是具備全模態人機自然交互條件,承載最多場景的個人通用設備,是最強的個人計算平臺,同時也是存儲容量最大、最受信賴的安全終端。
吳大畏先生分享了關於AI PC整合帶推理能力SSD的看法,即近存計算應用。每個存儲控制晶片內實際含大量算力,可為算力基礎設施提供支撐。若生態得到優化,模型數據和計算不需記憶體重新載入,數據傳輸的性能將大幅提高,功耗降低,對上層CPU算力要求也會降低。
展望未來,手機和PC將包含增量訓練和推理,存儲需分層以控製成本。雖然全用SLC對系統和個人體驗最佳,但價格高昂。産業界需解決提供最高性價比方案的問題,由此提出了存儲介質分層方案。從當前來看,分層包括HBM、DIMM、CXL、SLC SSD、普通SSD、QLC SSD、機械硬碟等。未來,這些存儲層次將更廣泛地應用於家庭和個人場景。
CXL存儲助力車端AI應用
車端作為AI典型的應用場景,愈來愈多的矛盾點逐漸顯現。一方面,在智慧汽車內卷嚴重的今天,汽車BOM(物料清單)成本受到了嚴格限制;另一方面,汽車智慧時代對存儲設備的性能、及時性、可靠性、服務性QoS等要求極高,導致矛盾愈發凸顯。某些應用初始版本功能單一、效率高,但隨著功能不斷增多,逐漸變慢且佔用更多算力。車廠雖會在初始階段為每個應用分配一定的CPU算力份額,但難以持續維持這種分配,關鍵應用的算力無法得到保證。
面對這一問題,吳大畏先生認為融合了CXL技術的存算一體、存算的極致分配與互聯的解決方案將是破解之道。在嵌入式行業場景中,存算一體和近存計算將會得到首先應用。以數據庫存儲方案在車端AI的應用為例,如果車廠僅僅通過更換算力更高的CPU來解決問題,那將導致成本過高。因此,合理的方案在於如何實現緊致的算力分配,在存儲端分擔部分數據庫算力,以優化CPU的算力分配。
總結
吳大畏先生的演講不僅為存算技術發展提供了前沿的研究方向,還為行業帶來了寶貴的思考和啟示。在演講尾聲,吳大畏先生揭示了得一微電子對於手機、PC、汽車端等主流存儲領域的未來佈局。憑藉最全面的存儲控制産品線和IP組合,得一微電子正在加速推進UFS4.0、PCIe 5.0、CXL等前沿産品和技術的研發,將為更多行業和應用場景帶來創新性的存儲解決方案。
得一微電子致力於成為存儲控制、存算一體、存算互聯領域技術領先的晶片設計公司,為消費級、企業級、工業級、車規級等市場的全場景應用提供貼身定制的解決方案和服務。通過不斷創新的技術,為中國新興記憶體在消費電子和AI端側應用帶來高性價比的解決方案,進一步推動存算技術的發展和進步,助力行業實現更多的創新和突破。