[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-direct-opd-weak-to-strong-distillation-zh":3,"article-related-direct-opd-weak-to-strong-distillation-zh":30,"series-research-af1699b9-52dd-414b-a951-32e02a760b75":75},{"id":4,"slug":5,"title":6,"content":7,"summary":8,"source":9,"source_url":10,"author":11,"image_url":12,"cover_image":12,"category":13,"language":14,"translated_content":11,"related_article_id":15,"keywords":16,"key_takeaways":22,"views":26,"created_at":27,"published_at":28,"topic_cluster_id":29},"af1699b9-52dd-414b-a951-32e02a760b75","direct-opd-weak-to-strong-distillation-zh","Direct-OPD 讓弱模型 RL 成果可重用","\u003Cp data-speakable=\"summary\">48.3% 提升到 62.4%。Direct-OPD 把弱模型 RL 產生的政策變化抽出來，再轉給更強模型，減少重跑強模型 RL 的成本。\u003C\u002Fp>\u003Cul>\u003Cli>\u003Cstrong>研究機構\u003C\u002Fstrong>：arXiv 摘要未明確標註\u003C\u002Fli>\u003Cli>\u003Cstrong>核心數據\u003C\u002Fstrong>：AIME 2024 從 48.3% 到 62.4%\u003C\u002Fli>\u003Cli>\u003Cstrong>突破點\u003C\u002Fstrong>：抽取 RL 政策差值\u003C\u002Fli>\u003C\u002Ful>\u003Cp>這篇論文要解的，不是「\u003Ca href=\"\u002Fnews\u002Fmicrosoft-ai-cloud-partner-program-builders-zh\">怎麼\u003C\u002Fa>把一個模型訓練好」而已，而是「怎麼不要每次都重做一遍昂貴的後訓練」。對做推理模型的人來說，這個問題很現實：RL with verifiable rewards 雖然有效，但每次換到更強的目標模型，都得重新跑大量 rollout，成本很快就上來。\u003C\u002Fp>\u003Cp>作者提出的思路很直接。既然小模型可以先用 RL 學到一部分有用的推理能力，那能不能把這份學習成果再拿去幫更大的模型？他們的答案是可以，而且不是單純把弱模型最終 checkpoint 拿來模仿，而是把 RL 造成的「變化量」當成可重用的訓練訊號。\u003C\u002Fp>\u003Ch2>這篇在修什麼痛點\u003C\u002Fh2>\u003Cp>傳統 RLVR 的問題在於，它不是一次訓練完就能通吃所有模型。你如果要把同樣的後訓練流程套到另一個更強的 base model，上面那些 rollout 幾乎還是得重跑。對大模型來說，這一步特別貴，因為生成\u003Ca href=\"\u002Fnews\u002Fdata-link-layer-osi-layer-2-en-zh\">資料\u003C\u002Fa>本身就是訓練瓶頸。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783405977424-4py2.png\" alt=\"Direct-OPD 讓弱模型 RL 成果可重用\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>很多人第一時間會想到的捷徑，是先拿小模型做 RL，再把結果蒸餾給大模型。聽起來合理，但論文指出，直接蒸餾弱模型的 post-RL policy 不夠乾淨。因為那個結果裡混了兩種東西：一種是 RL 真正帶來的改善，另一種是小模型本身的能力上限。你如果整包學下去，也可能把小模型的限制\u003Ca href=\"\u002Fnews\u002Frust-adoption-moving-into-production-zh\">一起\u003C\u002Fa>帶過去。\u003C\u002Fp>\u003Cp>這個區分很重要。開發者真正想要的，不只是「一個被 RL 調過的小模型」，而是「RL 帶來的改善方向」能不能跨尺度搬到更強的模型上。這篇論文就是在處理這個轉移問題。\u003C\u002Fp>\u003Ch2>Direct-OPD 到底怎麼做\u003C\u002Fh2>\u003Cp>方法名叫 Direct On-Policy Distillation，簡稱 Direct-OPD。它的核心不是複製弱模型訓練後的最終輸出，而是比較弱模型 RL 前後的兩個 checkpoint。兩者之間的差距，被當成值得傳遞的訊號。\u003C\u002Fp>\u003Cp>更白話一點，作者把 post-RL teacher 和它自己的 pre-RL reference 做比較，然後用兩者的 log-ratio 當作稠密的 implicit reward。這個訊號不是在告訴學生「答案長什麼樣」，而是在告訴學生「RL 之後，弱模型更傾向做哪些動作、哪些動作變得不那麼像」。\u003C\u002Fp>\u003Cp>再來是 on-policy 這個關鍵點。學生不是在靜態資料上照抄老師，而是在自己訓練時會走到的狀態上，接收這個由弱模型 RL 變化萃取出來的訊號。這讓蒸餾不是單純的離線模仿，而比較像把 RL 的方向性改變，重新灌進更強的模型。\u003C\u002Fp>\u003Cp>論文也強調，這條路不需要在目標模型上訓練顯式 reward model，也不用對目標模型做那種稀疏獎勵的完整 RL 流程。對工程上來說，這很重要，因為它避開了最花錢的那一段。\u003C\u002Fp>\u003Cp>所以 Direct-OPD 的重點不是「弱模型比較強」，而是「弱模型做 RL 後產生的差值，可以成為強模型的訓練資料」。這個角度和一般 checkpoint distillation 很不一樣。\u003C\u002Fp>\u003Ch2>論文實際證明了什麼\u003C\u002Fh2>\u003Cp>摘要裡最明確的數字，是 AIME 2024 的結果。Direct-OPD 讓 Qwen3-1.7B 從 48.3% 提升到 62.4%，而且是在 8 張 A100 \u003Ca href=\"\u002Ftag\u002Fgpu\">GPU\u003C\u002Fa>、4 小時內完成。這是目前公開摘要裡最具體的成效指標，也直接說明它不是只有概念漂亮，確實有可量化的提升。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783405976510-gbyx.png\" alt=\"Direct-OPD 讓弱模型 RL 成果可重用\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>作者還表示，Direct-OPD 可以穩定利用較弱的 teacher 來改善更強的 target model，並且優於 step-matched direct RL。摘要也提到，它支援多個 policy shift 的 sequential composition。換句話說，不是只能轉移一次改善，而是有機會把多段學到的變化串起來。\u003C\u002Fp>\u003Cp>不過，這份公開摘要沒有放出完整 \u003Ca href=\"\u002Ftag\u002Fbenchmark\">benchmark\u003C\u002Fa> 細節，也沒有列出廣泛的模型清單或多任務對照表。所以我們目前只能確定這個方法在作者點名的設定下有效，還不能從這份 raw 資料推論它在所有推理資料集或所有模型家族上都同樣穩。\u003C\u002Fp>\u003Ch2>對開發者的實際意義\u003C\u002Fh2>\u003Cp>如果你在做 reasoning system，真正燒錢的常常不是第一次把模型訓練起來，而是每次換 base model、換尺寸、換部署目標時，都要重做後訓練。這篇論文提供了一個很實用的方向：把 RL 工作成果重用，而不是每次都從頭跑。\u003C\u002Fp>\u003Cp>這對常見的工作流特別有吸引力。很多團隊會先在比較小、比較便宜的模型上試 RL，等到知道某種推理改法有效，再想辦法把這個成果搬到更大的模型。Direct-OPD 的想法就是把這個搬運過程做得更像「轉移 RL 產生的改變」，而不是「模仿某個弱模型最後的樣子」。\u003C\u002Fp>\u003Cp>如果這條路在更多場景下成立，後訓練流程可能會變得更像：先在 rollout 便宜的地方做 RL，再用 on-policy distillation 把政策變化傳給更強模型。對算力預算緊、但又想持續升級推理能力的團隊，這會是很有吸引力的做法。\u003C\u002Fp>\u003Ch2>還有哪些限制要先看清楚\u003C\u002Fh2>\u003Cp>這篇摘要雖然方向清楚，但也留下不少問題。首先，我們不知道它在不同任務上的泛化程度，也不知道它對 teacher 的選擇有多敏感。弱模型的 RL 如果本身不穩，或者學到的方向不夠好，那可轉移的訊號可能就很有限。\u003C\u002Fp>\u003Cp>第二個限制是方法本身的前提。Direct-OPD 依賴「弱模型先做出有用的 RL 變化」這件事成立。如果小模型根本學不到對的 policy shift，那就沒有東西可抽取、可傳遞。也就是說，它不是憑空創造能力，而是把已有的改善重新分配到更強模型上。\u003C\u002Fp>\u003Cp>第三個限制來自公開資訊本身。摘要沒有提供完整 benchmark 表，也沒有公布跨模型、跨任務的大範圍數字，所以目前還不能判斷它的提升是普遍存在，還是集中在作者展示的特定設定。對實務採用來說，這種資訊缺口很重要。\u003C\u002Fp>\u003Cp>但即便如此，這篇的核心觀點還是很有價值：RL 不一定只能產生一個更好的 checkpoint，它也可以產生可重用的 supervision。這個想法如果被更多後續工作證實，會影響大家怎麼設計推理模型的 post-training pipeline，尤其是在模型越來越大、算力越來越貴的情況下。\u003C\u002Fp>\u003Cul>\u003Cli>RLVR 對強模型很貴，因為每次都要重跑 rollout。\u003C\u002Fli>\u003Cli>Direct-OPD 抽的是 RL 前後的政策差值，不是直接抄弱模型最終狀態。\u003C\u002Fli>\u003Cli>公開摘要唯一明確數字是 Qwen3-1.7B 在 AIME 2024 從 48.3% 提升到 62.4%。\u003C\u002Fli>\u003C\u002Ful>","48.3% 提升到 62.4%。Direct-OPD 把弱模型 RL 產生的政策變化抽出來，再轉給更強模型，減少重跑強模型 RL 的成本。","arxiv.org","https:\u002F\u002Farxiv.org\u002Fabs\u002F2607.05394",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783405977424-4py2.png","research","zh","241fc8a1-6245-42f1-9be1-83f031963ec8",[17,18,19,20,21],"Direct-OPD","RLVR","on-policy distillation","policy shift","AIME 2024",[23,24,25],"把弱模型 RL 的改善量抽出來，可轉給更強模型。","方法避開了在目標模型上重跑完整 RL 的高成本。","公開摘要只提供單一 benchmark 數字，泛化範圍仍待更多資料驗證。",0,"2026-07-07T06:32:31.370605+00:00","2026-07-07T06:32:31.331+00:00","09cb40d0-8c27-4d70-b18e-7600fd44a0b2",{"tags":31,"relatedLang":34,"relatedPosts":38},[32],{"name":18,"slug":33},"rlvr",{"id":15,"slug":35,"title":36,"language":37},"direct-opd-weak-to-strong-distillation-en","Direct-OPD reuses weak-model RL gains for stronger models","en",[39,45,51,57,63,69],{"id":40,"slug":41,"title":42,"cover_image":43,"image_url":43,"created_at":44,"category":13},"4e93a1dc-fac5-470d-837f-d11fdd5573eb","label-free-real-bogus-classification-uncertainty-zh","免標註真偽分類與校準不確定性","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783407788205-x0l6.png","2026-07-07T07:02:31.776792+00:00",{"id":46,"slug":47,"title":48,"cover_image":49,"image_url":49,"created_at":50,"category":13},"ccf82d31-981a-47a5-b5e2-970ee982b11e","camvla-calibration-free-view-robust-vla-zh","CamVLA 讓機器人不怕換鏡頭","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783404180796-s1pg.png","2026-07-07T06:02:31.413058+00:00",{"id":52,"slug":53,"title":54,"cover_image":55,"image_url":55,"created_at":56,"category":13},"1eed455b-155a-4dce-9aaf-7f8328e9614f","data-link-layer-osi-layer-2-en-zh","OSI 第2層：資料鏈結層速懂","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783348374154-2340.png","2026-07-06T14:32:28.437901+00:00",{"id":58,"slug":59,"title":60,"cover_image":61,"image_url":61,"created_at":62,"category":13},"f64c8577-f362-4ef5-b1ac-78859c83ed26","osi-model-explained-networking-layers-zh","OSI 模型到現在還好用","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783346588623-i7pm.png","2026-07-06T14:02:38.037796+00:00",{"id":64,"slug":65,"title":66,"cover_image":67,"image_url":67,"created_at":68,"category":13},"404bac33-b9b4-41bb-bb9a-1d98a63aa536","evaluation-protocols-fine-tuned-llms-2026-zh","2026 微調 LLM 評估流程","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783101776530-b8eu.png","2026-07-03T18:02:24.572198+00:00",{"id":70,"slug":71,"title":72,"cover_image":73,"image_url":73,"created_at":74,"category":13},"8f3122c8-9eb1-4aa6-b780-3b62003b3418","deepspec-data-regeneration-pipeline-qwen3-eagle3-zh","DeepSpec 應被視為資料重生管線，而不是訓練技巧","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783080165006-321z.png","2026-07-03T12:02:18.375863+00:00",[76,81,86,91,96,101,106,111,116,121],{"id":77,"slug":78,"title":79,"created_at":80},"f18dbadb-8c59-4723-84a4-6ad22746c77a","deepmind-bets-on-continuous-learning-ai-2026-zh","DeepMind 押注 2026 連續學習 AI","2026-03-26T08:16:02.367355+00:00",{"id":82,"slug":83,"title":84,"created_at":85},"f4a106cb-02a6-4508-8f39-9720a0a93cee","ml-papers-of-the-week-github-research-desk-zh","每週 ML 論文清單，為何紅到 GitHub","2026-03-27T01:11:39.284175+00:00",{"id":87,"slug":88,"title":89,"created_at":90},"c4f807ca-4e5f-47f1-a48c-961cf3fc44dc","ai-ml-conferences-to-watch-in-2026-zh","2026 AI 研討會投稿時程整理","2026-03-27T01:51:53.874432+00:00",{"id":92,"slug":93,"title":94,"created_at":95},"cf046742-efb2-4753-aef9-caed5da5e32e","adaptive-block-scaled-data-types-zh","IF4：神經網路量化的聰明選擇","2026-03-31T06:00:36.990273+00:00",{"id":97,"slug":98,"title":99,"created_at":100},"53a0dc54-0371-4e40-8d5e-74e94a73840c","geometry-aware-similarity-metrics-for-neural-representations-zh","超越距離測量：用微分幾何重新理解神經網路","2026-03-31T06:01:01.241968+00:00",{"id":102,"slug":103,"title":104,"created_at":105},"fee7d472-a775-4b1d-bbc2-1e8bca1bbf8b","on-the-fly-repulsion-in-the-contextual-space-for-rich-divers-zh","讓AI繪圖更有創意：用排斥力提升生成多樣性","2026-03-31T06:01:25.439673+00:00",{"id":107,"slug":108,"title":109,"created_at":110},"a9901203-d69b-447b-8854-15d14eab32b4","vision-aided-beam-prediction-cnn-eca-zh","影像輔助波束預測升級 CNN","2026-04-01T10:00:25.8073+00:00",{"id":112,"slug":113,"title":114,"created_at":115},"b55e7dd4-0a24-4b3d-804d-b0309a03f498","triple-band-fss-mimo-antenna-sub-6-ghz-zh","三頻 FSS MIMO 天線瞄準 sub-6 GHz","2026-04-01T13:18:36.857305+00:00",{"id":117,"slug":118,"title":119,"created_at":120},"f68290bd-e7f3-4b30-ba22-dcd4e0130a66","openclaw-1299-repos-eight-weeks-analysis-zh","OpenClaw 1299 個 Repo 的資料解讀","2026-04-02T05:03:45.208411+00:00",{"id":122,"slug":123,"title":124,"created_at":125},"ed9f80eb-eb02-4d35-8ad4-0ddf428751dd","beam-coherence-aware-combining-mmwave-mimo-zh","毫米波 MIMO 的雙階合併法","2026-04-02T05:27:26.897188+00:00"]