微調預訓練語言模型,實現少鏡頭意圖檢測:監督預訓練和各向同化

微調預訓練語言模型,實現少鏡頭意圖檢測:監督預訓練和各向同化
林潤生博士
十月 5, 2022
研究

為僅包含少量註釋的面向任務的對話系統訓練良好的意圖分類器是具有挑戰性的。最近的研究表明,以監督的方式,使用來自公共基準的少量標記話語來微調預先訓練的語言模型是非常有説明的。然而,我們發現監督預訓練會產生一個各向異性特徵空間,這可能會抑制語義表示的表現力。受到最近各向同性研究的啟發,我們建議通過將特徵空間正則化為各向同性來改善監督預訓練。我們分別提出了兩種基於對比學習和相關矩陣的正則化方法,並通過廣泛的實驗證明瞭它們的有效性。我們的主要發現是,將監督預訓練與各向同性化相結合是有希望的,以進一步提高少射意圖檢測的性能。原始程式碼可以 在這個HTTPs URL上找到。

微調預訓練語言模型,實現少鏡頭意圖檢測:監督預訓練和各向同化

工程學士(2005),博士(2010),香港大學。IEEE高級會員。裘槎研究員。香港大學EEE兼職助理教授。加州大學伯克利分校博士後。浸會大學和香港大學研究助理教授。