清華北航美女學霸研發手語翻譯器:準確度達95%

2017-05-10 09:03:41 來源:大眾網 作者:佚名 責任編輯:高靜 字號:T|T
摘要】原標題:以愛的名義 北航清華女學霸研發手語翻譯器王娜娜(左)和黃爽(右)  演示者用手指向前方,又做出點讚的手勢,“你好”的文字快速地反應在App“手音”的界面上。“手音”的創始人王娜娜和聯合創始人黃爽原是北京航空航太大學2012級的學生,她們是同一個宿捨得閨蜜,兩個充滿活力的女生在2015年開始想為失語者做些什麼。

  原標題:以愛的名義 北航清華女學霸研發手語翻譯器

王娜娜(左)和黃爽(右)

  王娜娜(左)和黃爽(右)

  演示者用手指向前方,又做出點讚的手勢,“你好”的文字快速地反應在App“手音”的界面上。捕捉手部運動的肌電信號的是演示者手臂上的黑色臂環,看上去像跑步時用的護腕。

  “手音”是一款針對失語者的小眾産品,預計今年5月下旬上線。普通人可能難以想像這款産品的意義所在——手語是失語者彼此溝通的橋梁,但對於普通人來説是比所有外語都難的語言,“手音”將做潤物細無聲的溝通橋梁。

  “手音”的創始人王娜娜和聯合創始人黃爽原是北京航空航太大學2012級的學生,她們是同一個宿捨得閨蜜,兩個充滿活力的女生在2015年開始想為失語者做些什麼。

  在一次活動上,王娜娜認識了北京聯合大學特殊教育學院畢業的失語者張權,並成了好朋友。因為王娜娜不會手語,這兩位現實中的朋友相處更像網友,即便見面也往往會求助微信溝通。

  回到宿舍,王娜娜把張權的故事告訴了黃爽。她們此後認識了更多的失語者,也愈發感到溝通的困難。“有時我覺得我説話是在‘傷害’他們,一聊得開心就在想是不是忽略他們了,甚至有些自責。”王娜娜説。

  兩個善良的姑娘一直在想,張權是失語者中的幸運兒,不僅可以上學還有工作,更多的失語者因為溝通一直是社會的邊緣人,她們假想:老闆開會聽不見,點外賣沒辦法和店家溝通,別人怎麼能接納他們?《新聞聯播》有手語同步翻譯,可其他直播節目如果沒有字幕,失語者就永遠無法享受它。

  上網一查,數字更讓兩人咋舌:失語者(包含聽障人士、腦中風患者、腦癱患者和漸凍症患者)在中國的數量達到7000萬人,佔總人口的5%,這是一個非常龐大的數字。

  兩個人想起了參加“馮如杯”(馮如杯為北航校內學生學術科技作品競賽)時的圖像識別項目,當時這個項目獲得了一等獎,或許可以用這種技術幫助失語者。王娜娜回憶:“我們感覺發現了一個沒有人發現的需求,想成為第一個實現它的人,也讓我們所學的知識有價值。”

  於是,她倆著手研究手語翻譯的可行性,開始查論文、做實驗、寫代碼,用馮如杯一等獎獎金5萬元作為啟動資金行動起來。圖像識別被否決了,因為不能隨時攜帶攝像頭;手套被否決了,因為太引人注意,最終確定了通過臂環捕捉肌電信號的方法。因為智慧手錶逐漸普及,失語者帶著臂環看上去並不突兀。

  産品一次次迭代,為的是要保護失語者的尊嚴。黃爽記得,她們做過“體驗一天失語者”的活動。在便利店,因為結賬時需要了解價格,失語者只能通過手機和店員溝通,時間稍長排在後面的人開始不耐煩地催促。“如果別人知道我是失語者可能會體諒,但不知道就會埋怨,越埋怨我越著急。”一些失語者不願意別人稱呼他們為“聾人”,自己會寫成“龍人”。

  確定研發方向後,關鍵是不斷地輸入數據、調試數據以保證手語翻譯的準確性。為了檢驗模型的可靠性,最初只有兩個人在錄手語的數據,整天戴著臂環不停地做動作,黃爽開玩笑説:“練下去咱倆就要成為‘麒麟臂’啦!”

  “當你真正去幫助他們,他們就知道是為他們好,就會非常配合。”王娜娜説,為了保證數據的多樣化,並且真正讓失語者喜歡,她們後來聯繫了天津理工大學聾人工學院,合作進行數據採集和智慧臂閉環開發,還與北京市朝陽區殘聯達成合作意向,為“手音”的産品服務化提供諮詢、指導。張權也成了團隊的顧問。

  如今,“手音”涵蓋了200個手語動作,為了保證精確度,每一個動作錄製了1000人次。在有了自己的手勢數據庫之後,團隊還搭建了一個7層BP神經網路(一種按誤差逆傳播演算法訓練的多層前饋網路,是目前應用最廣泛的神經網路模型之一)對數據速度進行訓練,目前識別準確度已經達到95%。

  直到去年8月,團隊裏只有王娜娜和黃爽兩個人,後來其他人逐漸加入。他們沒有辦公室,開會都是“打遊擊戰”,咖啡廳、餐廳、教室都被徵用過,做研發都是在自己的實驗室裏,但王娜娜説:“我們一天都沒有想過放棄。”後來,團隊內有人因出國而退出,王娜娜在北航保研繼續深造,黃爽保研至清華大學。兩個女學霸沒有因升學而放棄團隊,繼續堅定地吸引人才研發産品。

  由女生主導的技術型創業團隊很少見,兩個人也經歷了磨合。最初,黃爽遇到意見不同時會等著雙方都冷靜下來回宿舍再溝通。王娜娜告訴她,團隊溝通對事不對人,要彼此敞開心扉,現在兩個人可以為一件事辯論個“你死我活”,也能在達成一致意見後手挽手去吃吃喝喝。團隊裏還有其他技術人員,大家一起熬夜寫代碼的時候,兩個女生也會偶爾化身為“程式員鼓勵師”,一起為團隊加油打氣。

  這兩個分別出生於1994年、1995年的女生笑著説:“或許因為我們現在還沒有走向社會,沒有買房的苦惱和社會的壓力,只是覺得我們所擁有的技術能夠對社會有價值,能夠真正幫助一些人,我們又有時間,那就做吧!”

  她們關於未來有很多設想,“手音”可以實現面對面小聊和長時間對話的功能,未來還可以推出手語教學、手語字母和智慧臂環閉環,解決手語教師缺乏等各種問題。此外,這種人工智慧技術成熟後還可以應用在其他方面,例如可以教學鋼琴的孩子更加準確地彈琴。

  在前不久百度與聯合國開發計劃署共同主辦的“極·致未來”責任創新挑戰賽上,“手音”團隊獲得了一等獎和最佳人氣獎,被譽為最有“包容性”的項目。

              熱搜資訊