人工智慧大模型以其龐大的參數規模和海量的訓練數據量著稱，需要由數千塊AI晶片組成的伺服器集群來支撐其運算。相關數據顯示，在10天內訓練1000億參數規模、1PB訓練數據集，約需1.08萬個英偉達A100GPU。這一數字揭示了AI大模型背後巨大的經濟成本。
近日，AI初創企業Anthropic的CEO兼總裁達裏奧·阿莫代（Dario Amodei）在一檔播客節目中表示，目前公司正在開發的AI模型訓練成本高達10億美元，他預計，AI模型的訓練成本在2027年之前提升到100億美元，甚至是1000億美元。
在此背景下，輕量化大模型的概念應運而生，對大模型進行量化、剪枝等壓縮操作，已成為模型部署過程中常用的策略。這些技術旨在降低模型的計算複雜度和減少存儲需求，從而加快模型推理速度，降低運作成本，並使其更易於在邊緣設備或資源受限的環境中部署。這一理念不僅有利於實現“雙碳”目標，也為AI技術的普及和落地應用開闢了新的道路。
知識蒸餾技術助力降低算力成本。近日，谷歌DeepMind開源了Gemma 2，這是其小型語言模型系列的下一代産品。谷歌團隊在Gemma 2的架構上進行了多項改進，特別是引入了知識蒸餾（Knowledge Distillation，簡稱KD）技術。這是一種機器學習技術，主要用於模型壓縮和遷移學習，其核心思想是通過將大型模型（即“教師模型”）的知識傳遞給小型模型（即“學生模型”），以提高小型模型的性能。這種技術在不犧牲性能的前提下，大幅減少了模型的計算資源需求，使得Gemma 2不僅在同類規模的模型中表現出眾，甚至能與兩倍于其大小的模型性能相媲美。
Gemma 2的發佈，無疑延續了近年來小型、開源語言模型家族蓬勃發展的行業趨勢。微軟的Phi和Meta的Llama等模型，同樣通過引入創新的架構改進（如GQA等）以及利用高品質的訓練數據，實現了遠超傳統小型模型的卓越性能。這一系列模型的涌現，不僅是技術進步的結果，更是為了滿足更廣泛應用場景的需求。通過軟硬體協同、演算法優化和模型壓縮等多種手段，大模型正逐步實現更高效、更經濟、更親民的目標，從而推動人工智慧技術的廣泛應用和發展。
創新模型量化方法，讓大模型“瘦身”90％。此前，清華大學和哈工大的一項聯合研究提出了大模型1bit極限壓縮框架OneBit，包括全新的1bit線性層結構、基於量化感知知識蒸餾的深度遷移學習等。1bit量化模型在計算上具有優勢，參數的純二進位表示，不但可以節省大量的空間，還能降低矩陣乘法對硬體的要求。該架構首次實現大模型權重壓縮超越90％並保留大部分（83％）能力，對於實現大模型在PC端甚至智慧手機上的部署意義非凡。
輕量化大模型在端側AI中的應用尤為重要。它降低了邊緣計算的成本門檻，使更多應用程式和用戶能夠使用大模型進行推理計算，從而推動了AI向端側場景的落地。小米集團NLP首席科學家王斌此前指出，大模型將逐漸演進為小模型，並在本地部署中發揮重要作用。這不僅符合技術發展的趨勢，也有利於滿足差異化的應用需求。
輕量化大模型之所以受到如此廣泛的關注，是因為它解決了AI技術在實際應用中的諸多痛點問題。傳統的大型語言模型雖然性能強大，但往往因為計算複雜度高、存儲需求大而無法在資源受限的設備上高效運作。而輕量化大模型則通過減少模型的參數數量和降低複雜度，降低了對硬體資源的要求，使得AI技術能夠更廣泛地應用於移動設備、邊緣計算和實時應用等場景。
（記者 吳雙）
(責任編輯：沈曄)