首頁 熱點 時尚 直播 熱圖 科技 快消 小鎮 專題 聯盟

手語數字人讓聽障人士“看見”聲音

時間:2024-06-19來源 : 安徽日報作者 : 佚名

12345政務服務便民熱線,一根小小的電話線,暢通民意、聯動民生,但聽障人士如何撥打12345政務熱線,反映自身訴求呢?6月17日,在合肥綜合性國家科學中心人工智慧研究院(安徽省人工智慧實驗室)內,機器博弈關鍵技術及應用項目團隊正在與合肥市12345政務服務便民熱線開展對接,籌建面向政務問詢的視頻手語系統。很快,手語數字人即將在合肥上崗。

聽障人士面臨著電話語音無法交流的情況。“如何幫助聽障人士更好地融入社會,實現無障礙的交流溝通,讓人工智慧技術為他們的生活帶來溫度,這是我們團隊開展研究的初衷之一。”合肥綜合性國家科學中心人工智慧研究院研究員周文罡説。自2012年起,他所在的科研團隊開始專注電腦視覺中的手語識別、合成的方向。

經過10餘年技術攻關,團隊在視頻手語理解方面的相關工作形成了一系列關鍵核心技術,在領域重要國際期刊和會議上共發表學術論文40余篇,申請專利20余項,並於2021年提出了手語識別領域的首個預訓練模型。該模型也是國際上首個專業視頻手語預訓練模型。

“我們建立了基於視覺-語言大模型的視頻手語問答原型系統,能夠實現視頻手語識別、自然語音問答、視頻手語合成等。”周文罡介紹説,通過形成手語識別—自然語音問答—手語合成閉環系統,讓聽障人士真正實現無障礙交流。

“雖然技術在手,但是需要進行場景的應用,我們也一直在考慮能夠應用在哪些關鍵領域,是否可以先找一個垂直應用領域作為切入點。”科技攻關是周文罡的強項,可在發展戰略、市場研究等方面存在不足。

2019年12月31日,合肥綜合性國家科學中心人工智慧研究院正式成立,這帶給周文罡團隊新的機遇。

研究院不僅提供了場地應用和資金扶持,還在科研攻關方面採用PI項目制的方式,在項目經費支配、成果使用等方面給予高端人才更大自主權。同時為每個團隊配備專職科研秘書和工程、實驗人員,將科研人員從日常性事務中解放,幫助他們更專心開展科研工作。

最終,周文罡和團隊決定首先在政務問詢領域檢驗這項科研成果,為聽障人士這一特殊群體提供更便捷、更人性化的城市公共服務,讓他們體驗既富“科技感”又有“人情味”的問詢系統。

在周文罡的演示下,可以看到聽障人士撥打政務服務熱線時,先通過視頻通話的方式與手語數字人進行互動,再由手語數字人將手語轉化為文字或語音,並傳達給政務服務熱線的客服人員。同時,它也能將客服人員的回答或指導轉化為手語,讓聽障人士能夠清晰地理解和接收。

“未來,我們希望依託人工智慧研究院的平臺,將成果進行産業化應用,在政務服務窗口、政策宣講會、線上政務服務等更多的場景中發光發熱,幫助聽障人士傳遞心聲、解決困難,搭建起安全可靠的溝通橋梁,共用美好生活。”周文罡充滿信心地説。

(責任編輯:沈曄)
返回首頁 返回欄目首頁

關於我們 | 法律顧問:北京岳成律師事務所 | 公告 | 刊登廣告 | 聯繫方式 | 本站地圖 | 對外服務:訪談 直播 廣告 展會 無線

版權所有 中國網際網路新聞中心 電子郵件:union@china.org.cn 電話:86-10-88825631 京ICP證 040089號 網路傳播視聽節目許可證號:0105123

Back to Top