實現DeepSeek671B全參數微調 HKGAI V1香港本土大模型發佈

　　2月25日，香港特區政府重點創科項目“InnoHK創新香港研發平臺”(InnoHK)資助的香港生成式人工智慧研發中心(HKGAI)正式發佈業界首個基於DeepSeek 671B全參數微調、持續訓練産生的大模型HKGAI V1，並計劃將該模型接入自研AI智慧對話應用“港話通”(手機版)、公文寫作系統“港文通”(HKPilot)以及其他系統，全面支援粵語、英語和普通話。

　　香港特區政府創新科技及工業局局長孫東教授表示，人工智慧正在引領新一輪技術革命和産業變革，在這波以人工智慧為代表的科技浪潮中，香港沒有缺席。他希望香港研發的大語言模型能夠立足香港，儘快提供給業界及市民使用，服務大眾，日後更希望利用這個平臺服務數以千萬的海外華人。

　　香港特區政府創新科技及工業局局長孫東教授致辭

　　同時，孫東教授表示：“HKGAI研發中心的團隊迅速將DeepSeek完美的底座模型架構與HKGAI非常傑出的數據處理，微調和對齊技術有機結合，從當初中心的成立，到今天我們香港自己的大語言模型的推出，歷時一年半，從無到有，書寫了獅子山下一個美好的科創傳奇。”

　　香港科技大學首席副校長、香港生成式人工智慧研發中心主任郭毅可教授表示，在香港特區政府領導和大力支援下，HKGAI V1通過深度融合我國的技術路徑和香港特有數據和地方文化及價值觀，實現了我國人工智慧自主創新成果在香港的本土化落地，架設起我國人工智慧技術出海的高速通道，為“一國兩制”制度優勢下香港與內地協同創新的重要案例。

　　打造“聰明的香港AI對話助手”

　　“獅子山精神象徵著香港市民自強不息、同舟共濟的價值觀。要教授孩子這一精神，可以陪孩子參與集體活動，如社區清潔、義賣籌款等……”在HKGAI V1全球首發發佈會現場，“港話通”正在為一位體驗者出謀劃策。

　　“我們使DeepSeek通過香港本地化成為‘聰明的香港AI對話助手’。”郭毅可表示，“我們不僅植入了香港法律條例、政府文書等大量本地公文數據，更創新性地使用香港文化數據開展訓練，使模型真正具備‘港式思維’、香港文化，努力實踐與體現‘一國兩制’制度優勢。”

　　香港科技大學首席副校長、香港生成式人工智慧研發中心主任郭毅可教授演講

　　據悉，截至目前，在數字政策辦公室的協調下，香港特區政府已有約70個部門參與試用“港文通”。

　　據郭毅可介紹，在香港公務員公文處理的場景中，HKGAI V1運作效率和內容豐富性較國際主流模型大幅提升，兼具合規性要求。“我們推出HKGAI V1旨在為香港打造最先進的本地化大模型，未來提供給市民和政府使用，並賦能香港産業體系變革與發展。”郭毅可説。

　　實現DeepSeek 671B首次全參數微調

　　“聰明的香港AI對話助手”迅速上線，離不開由HKGAI和北京大學聯合組成的技術團隊的攻關突破，也離不開香港數位港給予大力支援。“我們在短短幾週內完成DeepSeek 671B大模型從基座遷移到全參數微調的開發流程。”HKGAI預研部主任韓斯睿教授表示，區別於常見的輕量級微調方案，研發人員基於本地千卡算力集群，對模型千億參數進行全參數監督微調，在確保通用智慧水準不降級的前提下，完成模型的本地化，實現了對香港語言文化、政務流程、商業規範等垂直領域的深度適配。

　　據核心技術人員透露，HKGAI技術團隊成功突破671B全參數微調領域一系列技術壁壘，為國産大模型的持續訓練提供了創新解決方案。開源基座的訓練支援缺失是技術團隊遭遇的首個“攔路虎”。通過深入解析核心論文，技術團隊重構了模型架構的關鍵組件。面對數據配比這一行業共性難題，技術團隊通過大量實驗，分析不同數據子集對模型收斂速度和泛化能力的影響，實現目前的最好效果。針對671B超大參數規模模型，技術團隊成功在較短時間內攻克高併發場景下的推理計算難關。該框架已形成完整技術棧，未來可快速復用於其他超大規模模型訓練。

　　騏驥千里，非一日之功。據了解，在香港特區政府，特別是創新科技及工業局及創新科技署的資助與大力支援下，自2023年10月成立以來，HKGAI肩負著香港特區政府應對全球生成式AI浪潮的重任，由香港科技大學牽頭，聯合多所高校共同組建，致力於構建具有香港本地特色的開源大模型，以增強香港在AI浪潮中的全球競爭力。“HKGAI過去一年在算力整合、技術研發、應用拓展、人才培養等方面的積累，是HKGAI V1得以快速開發和應用的重要原因。”郭毅可稱。

　　香港特區政府創新科技及工業局局長孫東教授與HKGAI研發團隊合影留念

　　郭毅可表示，衷心感謝香港特區政府一直以來對HKGAI的關愛和支援，HKGAI V1項目的推進始終遵循“國家所需、香港所長”的戰略導向。“在中國科技自立自強進程中，HKGAI V1的誕生具有特殊戰略價值。其採用的‘國産基座+本地化創新’雙輪驅動模式，既保障了底層技術的安全可控，又充分釋放了香港本地化與國際化數據要素的活力。”郭毅可稱。

　　發揮“內聯外通”獨特優勢

　　香港“內聯外通”優勢正在AI時代煥發新機。郭毅可表示，依託香港融通中外的獨特優勢，HKGAI V1通過兩大戰略路徑構建科技創新賦能體系：對內開展創新協同，通過內地-香港聯合實驗室實現技術共融，驅動粵港澳大灣區人工智慧産業鏈能級躍升，為打造世界級科創中心注入新動能；對外進行國際化輻射路徑，以香港為支點構建海外技術交流網路，通過向海外華人社區及國際市場輸出國際化的AI解決方案，系統提升中國科技創新標準的全球滲透力。

　　郭毅可坦言，站在新的歷史節點，HKGAI將在AI數據治理、校企協同人才培養、AI+香港特色産業，如法律、金融、醫療等重點領域持續突破。"在世界AI發展的浪潮中，在國家AI發展的征途上，我們香港不能缺席，我們既要做攻堅尖刀，又可當科技試驗田。”郭毅可的這番展望，道出了HKGAI科技工作者的共同心聲。