神經機器翻譯與 Gumbel-Greedy 解碼

神經機器翻譯與 Gumbel-Greedy 解碼
李安國教授
十月 5, 2022
研究

以前的神經機器翻譯模型使用了一些啟發式搜索演算法(例如,波束搜索),以避免在測試時解決翻譯句子的最大后驗問題。在本文中,我們提出了Gumbel-Greedy解碼,它訓練生成網路以在訓練模型下預測翻譯。我們使用Gumbel-Softmax重參數化來解決這樣的問題,這使得我們的生成網路可以通過標準的隨機梯度方法進行微分和訓練。我們通過經驗證明,我們提出的模型對於生成離散詞序列是有效的。

神經機器翻譯與 Gumbel-Greedy 解碼

麻省理工學院學士、碩士、博士;香港大學電子工程系首席教授;清華大學長江學者、客座教授;IEEE院士,香港工程科學院院士;香港特別行政區銅紫荊勳章獲得者。