語言批註讓模仿學習更準

研究顯示，把自然語言批註直接拿來訓練策略，比只用分數回饋更能從次佳示範中學到有效行為。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：摘要無公開 benchmark 數字
• 突破點：語言批註直接訓練

模仿學習最常見的痛點，不是資料太少，而是資料不夠乾淨。真實示範常常不是專家級，甚至帶著明顯失誤。傳統做法會把這些差異壓成一個分數、權重，或判別器訊號。但這篇論文認為，這樣做會把最有用的資訊一起壓扁：到底哪裡做錯、哪裡還有進展、下一步該怎麼修正。

這篇工作的核心很直接：不要把回饋先縮成純量，再拿去訓練；改成保留自然語言批註。也就是說，訓練訊號不只告訴模型「好或壞」，還能明講任務進度、指出次佳行為，並給出更細的修正方向。這讓監督訊號更接近人類在看示範時會說的話。

這篇在解什麼問題

次佳示範的模仿學習，通常依賴信心分數、判別器分數或重要性權重這類壓縮式監督。它們的優點是簡單，缺點也很明顯：它們只能排出哪條軌跡比較好，卻說不出原因。模型可能知道某段行為不好，但不知道是卡住了、偏航了，還是動作順序本身就不對。

這個限制在真實資料裡特別麻煩。很多資料不是完整專家軌跡，而是部分、雜訊多、品質不一的示範。這種情況下，只給一個數字往往不夠。論文的主張是，語言比純量更適合承載這種結構化資訊，因為語言可以把「哪裡有問題」和「應該怎麼改」一起說清楚。

它特別適合連續控制任務。因為這類任務是時間序列，錯誤常常不是單點失敗，而是局部決策一路累積。導航、操作、遊戲都屬於這種情況。你很難只靠一個全域分數把整條軌跡的問題講明白。

方法到底怎麼做

方法第一步，是從示範構造語言標籤。這些標籤不是泛泛評論，而是要明確描述目前進度、點出次佳行為，並提供細粒度的修正指引。換句話說，監督訊號不是「這條比較好」，而是「這裡做得不夠好，而且下一步應該往哪個方向補救」。

第二步，是語言批註損失。重點在於：不要先把批註轉成數字再訓練，而是直接用這些結構化語言來形成訓練目標。摘要明確說，這個設計不會把批註降維成純量，這也是整個方法的關鍵。

第三步，是把這個想法塞進兩種常見的模仿學習框架：行為克隆與 diffusion policy。論文把它們分別命名為 LC-BC 和 LC-DP。這代表它不是只做一個新模型，而是提供一種可插進不同策略學習流程的訓練框架。

從工程角度看，這點很實用。若你原本就有 behavior cloning 或 diffusion-based policy learning 的管線，不需要整套重寫。你要換的，是對次佳資料的監督方式：從壓縮式分數，改成更有資訊量的語言批註。

論文證明了什麼

摘要沒有公開完整 benchmark 數字，所以沒有具體分數、百分比或吞吐量可以引用。它能確認的是，作者把方法放在多樣的連續控制任務上測試，涵蓋導航、操作與遊戲。

在這些任務裡，論文聲稱方法能持續優於強力的模仿學習與離線強化學習基線。這是摘要層級能看到的主要實證結論。換句話說，語言批註不只是比較好解釋，實際上也有競爭力。

此外，論文還給出一個理論結果：在標準假設下，提出的目標函數可以上界 expert performance gap。白話一點說，這個損失不是隨便設計的 heuristic，而是和專家表現差距有正式連結的目標。

不過，摘要也留下不少實務上很重要的空白。它沒有交代完整任務清單、語言標註怎麼產生、模型規模多大，也沒有說明失敗案例。更關鍵的是，從摘要看不出生成或整理這些語言批註的成本，這會直接影響方法能不能落地。

對開發者有什麼影響

如果你在做從不完美示範學策略，這篇論文提供了一個很實際的思路：監督不一定只能是一個分數。語言可以當成更豐富的中介表示，特別適合混有好壞不一軌跡的資料集。

對實作的人來說，吸引力不只在可解釋性。批註可以同時承載多種訊號：模型現在在做什麼、哪裡錯了、以及該怎麼修正。這比單一權重更能保留資料裡的細節，也可能讓模型更容易從雜訊示範中學到東西。

這篇也提醒了一個系統設計上的趨勢：很多 ML 流程早就把文字回饋用在別的地方了。這裡只是把同樣的概念往策略學習推進，讓自然語言監督直接進入 policy training，而不是只停在評估或標註工具。

還有哪些限制

最大的問題是可擴展性。摘要沒有說語言批註到底由誰產生，是人、另一個模型，還是混合流程。這很重要，因為如果高品質批註成本太高，方法再漂亮也可能卡在資料製作。

第二個問題是穩定性。語言比純量更有表達力，但也更容易變動。不同標註者、不同領域、不同提示方式，可能讓批註品質不一致。摘要沒有說明這部分怎麼處理。

第三個限制是任務範圍。這篇聚焦在連續控制任務，確實很合理，但仍然只是模仿學習的一個切面。它能不能延伸到更稀疏、更高度多模態、或示範品質更複雜的場景，摘要沒有給答案。

整體來看，這篇論文的訊息很清楚：如果你現在的模仿學習流程，把很多有用資訊都壓成一個數字，那語言可能是更好的訓練訊號。它把這個想法做成了方法，也給了理論與實證上的支撐。

• 次佳示範的單一分數常常太粗
• 語言批註保留進度、錯誤與修正方向
• LC-BC 與 LC-DP 可接到既有策略學習流程