12345政務服務便民熱線,一根小小的電話線,暢通民意、聯動民生,但聽障人士如何撥打12345政務熱線,反映自身訴求呢?6月17日,在合肥綜合性國家科學中心人工智慧研究院(安徽省人工智慧實驗室)內,機器博弈關鍵技術及應用項目團隊正在與合肥市12345政務服務便民熱線開展對接,籌建面向政務問詢的視頻手語系統。很快,手語數字人即將在合肥上崗。
聽障人士面臨著電話語音無法交流的情況。“如何幫助聽障人士更好地融入社會,實現無障礙的交流溝通,讓人工智慧技術為他們的生活帶來溫度,這是我們團隊開展研究的初衷之一。”合肥綜合性國家科學中心人工智慧研究院研究員周文罡説。自2012年起,他所在的科研團隊開始專注電腦視覺中的手語識別、合成的方向。
經過10餘年技術攻關,團隊在視頻手語理解方面的相關工作形成了一系列關鍵核心技術,在領域重要國際期刊和會議上共發表學術論文40余篇,申請專利20余項,並於2021年提出了手語識別領域的首個預訓練模型。該模型也是國際上首個專業視頻手語預訓練模型。
“我們建立了基於視覺-語言大模型的視頻手語問答原型系統,能夠實現視頻手語識別、自然語音問答、視頻手語合成等。”周文罡介紹説,通過形成手語識別—自然語音問答—手語合成閉環系統,讓聽障人士真正實現無障礙交流。
“雖然技術在手,但是需要進行場景的應用,我們也一直在考慮能夠應用在哪些關鍵領域,是否可以先找一個垂直應用領域作為切入點。”科技攻關是周文罡的強項,可在發展戰略、市場研究等方面存在不足。
2019年12月31日,合肥綜合性國家科學中心人工智慧研究院正式成立,這帶給周文罡團隊新的機遇。
研究院不僅提供了場地應用和資金扶持,還在科研攻關方面採用PI項目制的方式,在項目經費支配、成果使用等方面給予高端人才更大自主權。同時為每個團隊配備專職科研秘書和工程、實驗人員,將科研人員從日常性事務中解放,幫助他們更專心開展科研工作。
最終,周文罡和團隊決定首先在政務問詢領域檢驗這項科研成果,為聽障人士這一特殊群體提供更便捷、更人性化的城市公共服務,讓他們體驗既富“科技感”又有“人情味”的問詢系統。
在周文罡的演示下,可以看到聽障人士撥打政務服務熱線時,先通過視頻通話的方式與手語數字人進行互動,再由手語數字人將手語轉化為文字或語音,並傳達給政務服務熱線的客服人員。同時,它也能將客服人員的回答或指導轉化為手語,讓聽障人士能夠清晰地理解和接收。
“未來,我們希望依託人工智慧研究院的平臺,將成果進行産業化應用,在政務服務窗口、政策宣講會、線上政務服務等更多的場景中發光發熱,幫助聽障人士傳遞心聲、解決困難,搭建起安全可靠的溝通橋梁,共用美好生活。”周文罡充滿信心地説。
(責任編輯:沈曄)