阿裏首次公佈自然語言處理成果

迴圈神經網路是應用最為廣泛的序列數據神經網路建模方法。相對於傳統的前向神經網路，迴圈神經網路的主要特點在於，在每個時刻，其輸出不僅要依賴於當前時刻的輸入，還要考慮上一時刻的模型「狀態」。通過對歷史狀態的依賴，RNN 模型能夠有效的表徵文本數據的上下文依存資訊。但是，RNN 的「宏偉目標」-有效管理任意跨度的資訊傳遞-往往使得其難以有效的訓練，進而也限制了其在具體應用中的效果。

另一被廣泛應用的語義編碼模型是 CNN 模型。傳統的 CNN 建模通常用於解決圖像的特徵提取。但近年來，眾多學者嘗試將其應用到文本處理領域。CNN 的模型結構來源於對人類視覺神經信號處理機制的模擬。與文本數據不同的是，圖像數據通常被看做一個二維數據結構，而相應的 CNN 模型也更適於提取其中的「局部」特徵。但與圖像數據相似的是，文本數據中的上下文依賴通常可以被簡化為一種「局部」資訊，即傳統 NLP 領域中的 N-gram 語言模型：文本中一個詞的具體含義，通常只和上文有限距離內的幾個詞相關。