通過忽略虛假相關性改進零次神經機器翻譯

通過忽略虛假相關性改進零次神經機器翻譯
李安國教授
十月 5, 2022
研究

零次翻譯,即在神經機器翻譯 (NMT) 系統從未訓練過的語言對之間進行翻譯,是在多語言環境中訓練系統時的一種緊急屬性。然而,對於零次NMT的樸素訓練很容易失敗,並且對超參數設置很敏感。性能通常遠遠落後於更傳統的基於樞軸的方法,該方法使用第三種語言作為樞軸進行兩次翻譯。在這項工作中,我們通過定量分析源語言ID和解碼句子之間的相互信息來解決由於捕獲虛假相關性而導致的簡併問題。受此分析的啟發,我們建議使用兩種簡單但有效的方法:(1)解碼器預訓練;(2)反向翻譯。這些方法在三個具有挑戰性的多語言數據集上比普通零次翻譯有顯著改善(4~22 BLEU分),並且取得了與基於樞軸的方法相似或更好的結果。

通過忽略虛假相關性改進零次神經機器翻譯

麻省理工學院學士、碩士、博士;香港大學電子工程系首席教授;清華大學長江學者、客座教授;IEEE院士,香港工程科學院院士;香港特別行政區銅紫荊勳章獲得者。