在序列到序列學習中加入複製機制

我們解決了序列到序列（Seq2Seq）學習中的一個重要問題，稱為複製，其中輸入序列中的某些段在輸出序列中有選擇地複製。在人類語言交流中也可以觀察到類似的現象。例如，人類傾向於在對話中重複實體名稱甚至長短語。在 Seq2Seq 中複製的挑戰是需要新機器來決定何時執行操作。在本文中，我們將複製整合到基於神經網路的Seq2Seq學習中，並提出了一種具有編碼器 - 解碼器結構的名為CopyNet的新模型。CopyNet可以將解碼器中的常規單詞生成方式與新的複製機制很好地集成在一起，該機制可以選擇輸入序列中的子序列並將其放在輸出序列中的適當位置。我們對合成數據集和現實世界數據集的實證研究證明瞭CopyNet的有效性。例如，CopyNet可以優於常規的基於RNN的模型，在文本摘要任務上具有顯著的邊距。