微調預訓練語言模型，實現少鏡頭意圖檢測：監督預訓練和各向同化

為僅包含少量註釋的面向任務的對話系統訓練良好的意圖分類器是具有挑戰性的。最近的研究表明，以監督的方式，使用來自公共基準的少量標記話語來微調預先訓練的語言模型是非常有説明的。然而，我們發現監督預訓練會產生一個各向異性特徵空間，這可能會抑制語義表示的表現力。受到最近各向同性研究的啟發，我們建議通過將特徵空間正則化為各向同性來改善監督預訓練。我們分別提出了兩種基於對比學習和相關矩陣的正則化方法，並通過廣泛的實驗證明瞭它們的有效性。我們的主要發現是，將監督預訓練與各向同性化相結合是有希望的，以進一步提高少射意圖檢測的性能。原始程式碼可以 在這個HTTPs URL上找到。