Relay-OPD 修補失敗前綴

以前是學生一旦前綴走歪就一路錯到底；Relay-OPD 改成讓老師在關鍵點短暫接手修補，再交回學生繼續學。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：訓練軌跡長度減少 50% 以上
• 突破點：無標籤接手修補前綴

這篇論文處理的是一個很實際的蒸餾痛點：學生模型在生成推理軌跡時，只要前面一步走錯，後面常常不是修正，而是繼續沿著錯誤方向延伸。對 on-policy distillation 來說，這很麻煩，因為訓練雖然是沿著學生自己產生的軌跡進行，但如果軌跡本身已經歪掉，後面的監督就會變得又吵又浪費算力。

Pass the Baton: Trajectory-Relayed On-Policy Distillation 的核心想法很直接：不要讓錯誤前綴一路污染整條 rollout。當系統偵測到學生前綴明顯偏離時，就讓老師模型短暫接手，把路修回來，再把控制權交回學生。它不是把整段生成都交給老師，而是只在最關鍵的地方插手。

它要解的痛點是什麼

on-policy distillation 的初衷，本來是讓學生在自己的軌跡上學，這樣訓練和真實推理更一致。但問題也正出在這裡：學生如果一開始就走錯路，後面 token 的學習目標就會被錯誤前綴綁架。老師雖然還在，但它看到的是一條已經偏掉的路，能提供的修正效果會打折扣。

摘要裡提到一個很關鍵的現象：failed prefixes 會出現 continuation asymmetry。意思是說，前綴一旦失敗，老師通常會把路徑導回正確方向，但學生往往會繼續往同一個錯誤方向走。Relay-OPD 就是把這個差異變成一個訊號，用來決定何時該切換控制權。

這個設計背後的思路，不是把老師變成全程監工，而是把老師當成「修路工」。對蒸餾來說，這很重要，因為太依賴老師，學生就會離自己的 policy 太遠；太放任學生，又會把壞軌跡學進去。Relay-OPD 想站在中間。

方法怎麼運作

論文把這種混合軌跡叫做 relay trajectories。訓練開始時，學生照常生成。當系統判定某個位置需要介入，老師就會短暫接手，補上一段 teacher leg。接著學生再回來，沿著這條混合後的軌跡繼續被優化。

重點在於它的 trigger 是 label-free。這代表它不是靠額外人工標註來判斷哪裡錯了，而是直接利用老師與學生在失敗前綴上的 continuation asymmetry 來做切換。換句話說，接手條件是從模型行為本身推導出來的，不需要另開一條標註流程。

摘要也提到有一個有限的 relay budget。這表示老師不會到處插手，而是把介入集中在關鍵、通常也是較早的前綴位置。這樣做有兩個好處：一是保留學生自己的生成風格，二是避免整條軌跡都被老師主導，讓訓練成本失控。

如果用工程語言來講，Relay-OPD 做的事其實很好理解：先讓小模型自己跑，發現前綴壞掉就讓大模型救火，救完再讓小模型接著學。新意不在於「有老師」，而在於老師只在失敗前綴上短暫接棒，而且這個接棒是自動、可控的。

論文證明了什麼

摘要列出的評估設定，是用 Qwen3-4B-Instruct-2507 當 teacher，搭配 Qwen3-0.6B 和 Qwen3-1.7B-Non-Thinking 當 student，並在八個數學推理 benchmark 上測試。摘要沒有公開完整 benchmark 名稱，所以這裡只能確認它覆蓋了八個數學推理任務，不能補更多細節。

結果面，摘要給了幾個明確數字。對 1.7B student 來說，Relay-OPD 在每個 benchmark 上都拿到最佳或次佳結果；相較標準 OPD，平均提升 5.73%；相較最強 baseline FastOPD，平均再高 1.49%。對 0.6B student，也有一致的提升。

另一個很值得注意的數字，是訓練軌跡長度減少超過 50%。這代表方法不只是把分數拉高，也確實減少了在明顯錯誤推理路徑上浪費的訓練步數。對蒸餾這種本來就很吃算力的流程來說，這種效率改善很有價值。

不過，摘要沒有提供完整 benchmark 表格、每個任務的逐項成績、訓練時間拆解，也沒有在這份來源文字裡交代 ablation 或失敗案例。所以目前能下的結論是：在它報告的數學推理場景裡，Relay-OPD 的表現與效率都不錯；但如果你想知道它到底在哪些題型特別有效，或在哪些情況會失靈，這份摘要還不夠。

對開發者有什麼影響

如果你在做小模型推理蒸餾，這篇最有感的地方，是它正面處理了一個常見問題：錯誤前綴會把整條軌跡帶歪。傳統 token-level 蒸餾如果只是在壞軌跡上持續訓練，很可能不是在教模型修正，而是在強化偏差。Relay-OPD 提供了一個更像「先修再學」的做法。

這對數學助理、推理型聊天模型、或任何需要把大模型能力壓到小模型上的場景，都有參考價值。尤其是當你的學生模型已經會部分推理，但常常在早期步驟犯錯時，這種 selective relay 的設計可能比全程教師監督更划算。

它也給了一個很實用的系統設計方向：老師不一定要永遠在線，也不一定要管每個 token。只要在「會把整條路帶歪」的地方介入，就可能拿到更高的訓練效率。這種思路對資源有限的團隊特別有吸引力，因為它不是單純把 teacher 用得更多，而是用得更準。

但限制也很明顯。首先，摘要只提到八個數學推理 benchmark，所以目前不能直接推論它對程式碼、開放式生成，或其他更長尾的任務同樣有效。其次，因為來源沒有提供完整實驗細節，我們也無法從這份文字判斷 relay trigger 是否容易調參、是否對不同 teacher-student 組合都穩定。

換句話說，Relay-OPD 的價值，不在於它發明了全新的訓練範式，而在於它把一個老問題——壞前綴污染蒸餾——變成一個可以被控制的 relay 機制。對實作端來說，這類方法最值得關注的地方，通常不是概念有多漂亮，而是它能不能在不大幅增加流程複雜度的前提下，真的少走冤枉路。

總結

Relay-OPD 的結論很清楚：當學生模型的前綴走歪時，讓老師短暫接手，比起硬著頭皮把整條錯路學完，更能提升 on-policy distillation 的品質與效率。摘要顯示它在數學推理任務上有穩定增益，還把訓練軌跡長度砍掉一半以上。

對台灣開發者來說，這篇的重點不是某個特定 benchmark 的分數，而是它提供了一個可落地的訓練控制思路：把老師當成「局部修復器」，而不是全程代打。這種做法如果能穩定擴展，會是小模型推理蒸餾很值得試的一條路。

• 錯誤前綴會污染整條推理軌跡，Relay-OPD 專門修這個問題。
• 它用無標籤的接手條件，讓老師只在關鍵位置短暫介入。
• 摘要顯示它同時改善數學推理表現，並把訓練軌跡長度減少 50% 以上。