谷歌聯手麻省理工:AI要同時處理多重資訊

論文的聯合作者、麻省理工學院博士後Yusuf Aytar表示：“不管你是聽見了了引擎聲，還是看到了汽車，這都無所謂，因為你馬上能識別出這是同一概念。這些資訊已經在你的大腦中被統一起來。” 

這裡的關鍵詞就是協調與統一。研究人員並沒有教會演算法新的東西，而是創造了一種方式讓演算法將一種感官與另一種感官連接統一起來。Aytar舉了一個例子來説明：當一輛自動駕駛汽車聽見救護車的聲音時，就能將其與救護車的樣子聯繫在一起，即便因為視線受阻沒有看見救護車，也能提前做出避讓。

為了訓練這套AI系統，麻省理工學院的研究人員首先向神經網路展示了一些帶有音頻的視頻文件，當神經網路接收到這些視頻和音頻後，就會開始嘗試預測物體與聲音之間的聯繫。然後，研究人員開始同一演算法中輸入帶有文字説明的圖像，讓神經網路將圖片中的物體與其文字説明聯繫起來。以此類推，這樣就完成了視頻、聲音、圖像、文字間的相互轉換與識別。