從一般到特殊:使用域轉換網路的多域轉換

[研究]

從一般到特殊:使用域轉換網路的多域轉換
李安國教授
十月 5, 2022
研究

多域翻譯的關鍵挑戰在於,在一個統一的模型中同時對跨域共用的一般知識和每個域特有的特定知識進行編碼。先前的工作表明,在混合域數據上訓練的標準神經機器翻譯(NMT)模型通常捕獲一般知識,但錯過了特定領域的知識。為了解決這個問題,我們用額外的域變換網路來增強NMT模型,以將一般表示轉換為特定於域的表示,這些表示隨後被饋送到NMT解碼器。為了保證知識轉化,我們還利用知識提煉和對抗性學習的力量,提出了兩個互補的監督信號。在平衡和不平衡多域翻譯的多個語言對上進行了實驗,驗證了所提出方法的有效性和普遍性。令人鼓舞的是,所提出的統一模型通過微調方法實現了可比較的結果,該方法需要多個模型來保存特定知識。進一步的分析表明,域轉換網路成功地捕獲了預期的域特定知識。

從一般到特殊:使用域轉換網路的多域轉換

麻省理工學院學士、碩士、博士;香港大學電子工程系首席教授;清華大學長江學者、客座教授;IEEE院士,香港工程科學院院士;香港特別行政區銅紫荊勳章獲得者。