Direct-OPD 讓弱模型 RL 成果可重用

48.3% 提升到 62.4%。Direct-OPD 把弱模型 RL 產生的政策變化抽出來，再轉給更強模型，減少重跑強模型 RL 的成本。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：AIME 2024 從 48.3% 到 62.4%
• 突破點：抽取 RL 政策差值

這篇論文要解的，不是「怎麼把一個模型訓練好」而已，而是「怎麼不要每次都重做一遍昂貴的後訓練」。對做推理模型的人來說，這個問題很現實：RL with verifiable rewards 雖然有效，但每次換到更強的目標模型，都得重新跑大量 rollout，成本很快就上來。

作者提出的思路很直接。既然小模型可以先用 RL 學到一部分有用的推理能力，那能不能把這份學習成果再拿去幫更大的模型？他們的答案是可以，而且不是單純把弱模型最終 checkpoint 拿來模仿，而是把 RL 造成的「變化量」當成可重用的訓練訊號。

這篇在修什麼痛點

傳統 RLVR 的問題在於，它不是一次訓練完就能通吃所有模型。你如果要把同樣的後訓練流程套到另一個更強的 base model，上面那些 rollout 幾乎還是得重跑。對大模型來說，這一步特別貴，因為生成資料本身就是訓練瓶頸。

很多人第一時間會想到的捷徑，是先拿小模型做 RL，再把結果蒸餾給大模型。聽起來合理，但論文指出，直接蒸餾弱模型的 post-RL policy 不夠乾淨。因為那個結果裡混了兩種東西：一種是 RL 真正帶來的改善，另一種是小模型本身的能力上限。你如果整包學下去，也可能把小模型的限制一起帶過去。

這個區分很重要。開發者真正想要的，不只是「一個被 RL 調過的小模型」，而是「RL 帶來的改善方向」能不能跨尺度搬到更強的模型上。這篇論文就是在處理這個轉移問題。

Direct-OPD 到底怎麼做

方法名叫 Direct On-Policy Distillation，簡稱 Direct-OPD。它的核心不是複製弱模型訓練後的最終輸出，而是比較弱模型 RL 前後的兩個 checkpoint。兩者之間的差距，被當成值得傳遞的訊號。

更白話一點，作者把 post-RL teacher 和它自己的 pre-RL reference 做比較，然後用兩者的 log-ratio 當作稠密的 implicit reward。這個訊號不是在告訴學生「答案長什麼樣」，而是在告訴學生「RL 之後，弱模型更傾向做哪些動作、哪些動作變得不那麼像」。

再來是 on-policy 這個關鍵點。學生不是在靜態資料上照抄老師，而是在自己訓練時會走到的狀態上，接收這個由弱模型 RL 變化萃取出來的訊號。這讓蒸餾不是單純的離線模仿，而比較像把 RL 的方向性改變，重新灌進更強的模型。

論文也強調，這條路不需要在目標模型上訓練顯式 reward model，也不用對目標模型做那種稀疏獎勵的完整 RL 流程。對工程上來說，這很重要，因為它避開了最花錢的那一段。

所以 Direct-OPD 的重點不是「弱模型比較強」，而是「弱模型做 RL 後產生的差值，可以成為強模型的訓練資料」。這個角度和一般 checkpoint distillation 很不一樣。

論文實際證明了什麼

摘要裡最明確的數字，是 AIME 2024 的結果。Direct-OPD 讓 Qwen3-1.7B 從 48.3% 提升到 62.4%，而且是在 8 張 A100 GPU、4 小時內完成。這是目前公開摘要裡最具體的成效指標，也直接說明它不是只有概念漂亮，確實有可量化的提升。

作者還表示，Direct-OPD 可以穩定利用較弱的 teacher 來改善更強的 target model，並且優於 step-matched direct RL。摘要也提到，它支援多個 policy shift 的 sequential composition。換句話說，不是只能轉移一次改善，而是有機會把多段學到的變化串起來。

不過，這份公開摘要沒有放出完整 benchmark 細節，也沒有列出廣泛的模型清單或多任務對照表。所以我們目前只能確定這個方法在作者點名的設定下有效，還不能從這份 raw 資料推論它在所有推理資料集或所有模型家族上都同樣穩。

對開發者的實際意義

如果你在做 reasoning system，真正燒錢的常常不是第一次把模型訓練起來，而是每次換 base model、換尺寸、換部署目標時，都要重做後訓練。這篇論文提供了一個很實用的方向：把 RL 工作成果重用，而不是每次都從頭跑。

這對常見的工作流特別有吸引力。很多團隊會先在比較小、比較便宜的模型上試 RL，等到知道某種推理改法有效，再想辦法把這個成果搬到更大的模型。Direct-OPD 的想法就是把這個搬運過程做得更像「轉移 RL 產生的改變」，而不是「模仿某個弱模型最後的樣子」。

如果這條路在更多場景下成立，後訓練流程可能會變得更像：先在 rollout 便宜的地方做 RL，再用 on-policy distillation 把政策變化傳給更強模型。對算力預算緊、但又想持續升級推理能力的團隊，這會是很有吸引力的做法。

還有哪些限制要先看清楚

這篇摘要雖然方向清楚，但也留下不少問題。首先，我們不知道它在不同任務上的泛化程度，也不知道它對 teacher 的選擇有多敏感。弱模型的 RL 如果本身不穩，或者學到的方向不夠好，那可轉移的訊號可能就很有限。

第二個限制是方法本身的前提。Direct-OPD 依賴「弱模型先做出有用的 RL 變化」這件事成立。如果小模型根本學不到對的 policy shift，那就沒有東西可抽取、可傳遞。也就是說，它不是憑空創造能力，而是把已有的改善重新分配到更強模型上。

第三個限制來自公開資訊本身。摘要沒有提供完整 benchmark 表，也沒有公布跨模型、跨任務的大範圍數字，所以目前還不能判斷它的提升是普遍存在，還是集中在作者展示的特定設定。對實務採用來說，這種資訊缺口很重要。

但即便如此，這篇的核心觀點還是很有價值：RL 不一定只能產生一個更好的 checkpoint，它也可以產生可重用的 supervision。這個想法如果被更多後續工作證實，會影響大家怎麼設計推理模型的 post-training pipeline，尤其是在模型越來越大、算力越來越貴的情況下。

• RLVR 對強模型很貴，因為每次都要重跑 rollout。
• Direct-OPD 抽的是 RL 前後的政策差值，不是直接抄弱模型最終狀態。
• 公開摘要唯一明確數字是 Qwen3-1.7B 在 AIME 2024 從 48.3% 提升到 62.4%。