火山語音首次參與“實時高逼真孿生數字人關鍵技術研發與應用示範”項目建設

日前,“實時高逼真孿生數字人關鍵技術研發與應用示範”項目啟動會暨實施方案諮詢會在北京理工大學國際交流中心召開。該項目由北京理工大學發起,上海科技大學、北京大學、浙江大學、中科院計算所、中央戲劇學院、中國傳媒大學、杭州看潮資訊等10家高校以及企業共同參與。項目圍繞高逼真數字人技術,突破光場重建、智慧生成與驅動等業內關鍵能力,通過構建支援産業發展的核心硬體、工具平臺以及底層數據集等,最終實現內容生産到數字消費的業態鏈路暢通,達成文化與技術的有機融合。

會議現場

其中火山語音憑藉業內優勢的AI語音技術以及全棧語音産品解決方案能力,參與到該項目課題三“實時高保真孿生數字人通用開發平臺”的建設中,並與江南遊戲工作室合作,通過整合交互理解、智慧對話管理、智慧驅動三大模組,構建支援定制化並適用於多樣場景的數字人智慧“對話”系統,實現多模態交互對話。

例如在交互理解方向,該模組整合了多語種自然語言識別以及多模態交互意圖識別功能;在智慧對話管理模組,則整合了情境定制管理、對話工廠、意圖管理、QA問答管理、閒聊模組等對話管理鏈路;在智慧驅動模組,包含了情緒表情生成能力、唇型視素生成能力、肢體動作自動生成能力、支援“多語言+多音色”的語音合成能力,以及音樂驅動舞蹈動作生成能力等;智慧對話系統最終輸出語音、口型、表情、動作至雲端渲染引擎,實現超寫實數字人的擬人化交互表達。

對此火山語音團隊負責人馬澤君表示,未來通過參與這個科技項目研發産出的一系列創新技術將由火山語音加速達成實踐落地,並由火山引擎對外提供服務,不斷探索 AI與業務場景的高效融合,産出行業標桿案例,提升音頻理解、音頻合成、數字人驅動、對話交互等AI語音技術能力的同時,以實現更大的産業價值。