[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-prerl-training-llms-in-pre-train-space-zh":3,"article-related-prerl-training-llms-in-pre-train-space-zh":25,"series-research-2428c4f3-8cbf-43dc-afe8-dad89550740f":78},{"id":4,"slug":5,"title":6,"content":7,"summary":8,"source":9,"source_url":10,"author":11,"image_url":12,"cover_image":12,"category":13,"language":14,"translated_content":11,"related_article_id":15,"keywords":16,"key_takeaways":11,"views":22,"created_at":23,"published_at":24,"topic_cluster_id":11},"2428c4f3-8cbf-43dc-afe8-dad89550740f","prerl-training-llms-in-pre-train-space-zh","PreRL：把強化學習搬進預訓練空間","\u003Cp>大型語言模型近年常靠可驗證獎勵的強化學習來補推理能力，但這篇論文認為，問題還卡在基礎模型原本的輸出分布。它提出一個更前面的切入點：不要只調整「給定提示詞時會怎麼回答」，而是直接在預訓練空間裡，調整模型整體的生成分布。論文原文可見 \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2604.14142\">From $P(y|x)$ to $P(y)$: Investigating Reinforcement Learning in Pre-train Space\u003C\u002Fa>。\u003C\u002Fp>\u003Cp>白話一點說，這不是單純把某個 prompt 的答案修正得更準，而是想把模型整個「比較會想」的空間先塑形。對開發者來說，這代表學習壓力被放到更底層：不只是「這題答對」，而是「讓正確推理更容易被走到」。\u003C\u002Fp>\u003Cp>這篇摘要沒有公開完整 benchmark 細節，所以我們能確認的是方法方向、幾個量化觀察，以及作者對效果的總結；但還不能從摘要直接看出它在各任務上的完整表現表格。\u003C\u002Fp>\u003Ch2>這篇論文想解什麼痛點\u003C\u002Fh2>\u003Cp>論文先從 RL with verifiable rewards，也就是 RLVR 的限制切入。RLVR 的重點是優化 \u003Ccode>P(y|x)\u003C\u002Fcode>，也就是在輸入 \u003Ccode>x\u003C\u002Fcode> 給定時，讓輸出 \u003Ccode>y\u003C\u002Fcode> 的機率更高。這種做法確實能改善推理，但作者認為它仍然受限於 base model 原本就會不會產生那些路徑。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1776319619099-op5n.png\" alt=\"PreRL：把強化學習搬進預訓練空間\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>如果模型本來就偏向某些不太有用的生成軌跡，那麼你再怎麼用 RLVR 拉，也只是沿著既有分布做局部修補。論文想修的，就是這個天花板。它主張與其只改條件分布，不如直接改更底層的邊際分布 \u003Ccode>P(y)\u003C\u002Fcode>。\u003C\u002Fp>\u003Cp>作者把這個訓練場域稱為「Pre-train \u003Ca href=\"\u002Fnews\u002Fspatialevo-self-evolving-3d-spatial-reasoning-zh\">Spa\u003C\u002Fa>ce」。意思不是回到傳統靜態預訓練資料那套，而是把獎勵訊號直接灌進更廣的生成空間。這樣做的目標，是讓模型的整體探索範圍更適合推理，而不是只在某個 prompt 上表現好看。\u003C\u002Fp>\u003Cp>這裡還有一個背景問題：傳統預訓練靠的是靜態語料與被動學習。作者認為，當目標已經是針對推理能力做定向提升時，這種方式會產生分布落差。也就是說，模型學到的東西和你真正想優化的行為，未必在同一個空間裡。\u003C\u002Fp>\u003Ch2>PreRL 到底怎麼運作\u003C\u002Fh2>\u003Cp>這篇論文提出的方法叫做 PreRL，意思是 Pre-train Space RL。核心做法很直接：把獎勵驅動的線上更新，從只作用在 \u003Ccode>P(y|x)\u003C\u002Fcode>，改成直接作用在 \u003Ccode>P(y)\u003C\u002Fcode>。作者想藉此改善模型整體的輸出空間，而不只是修某個 prompt 的局部行為。\u003C\u002Fp>\u003Cp>論文同時主張，\u003Ccode>log P(y)\u003C\u002Fcode> 和 \u003Ccode>log P(y|x)\u003C\u002Fcode> 之間存在強烈的梯度對齊，而且這件事有理論與實驗上的驗證。這個說法很關鍵，因為它等於在說：優化邊際分布不只是另起爐灶，而是可以當成標準 RL 的可行替代或近似。若兩邊梯度方向相近，那麼在一個空間裡做更新，可能也能帶動另一個空間的改善。\u003C\u002Fp>\u003Cp>方法裡一個重要元件是 Negative Sample Reinforcement，簡稱 NSR。論文把它描述成 PreRL 裡特別有效的推理驅動器。它的概念是從負樣本中學習，快速剪掉錯誤推理路徑，同時刺激模型出現內生的反思行為。這不是單純多給資料，而是用負例去重塑搜尋空間。\u003C\u002Fp>\u003Cp>另一個設計是 Dual Space RL，簡稱 DSRL。作者把它描述為一種 Policy Reincarnation 策略。流程上，模型先用 NSR-PreRL 初始化，先把推理視野打開，再切回標準 RL 做更細的最佳化。這種兩階段設計，反映作者的判斷：先擴張可走的推理空間，再做精修，可能比一開始就硬做單一 RL 目標更有效。\u003C\u002Fp>\u003Ch2>論文實際證明了什麼\u003C\u002Fh2>\u003Cp>就摘要能看到的資訊，作者給出的主張分成兩層。第一層是理論與實驗都支持 \u003Ccode>log P(y)\u003C\u002Fcode> 和 \u003Ccode>log P(y|x)\u003C\u002Fcode> 的梯度對齊。第二層是大規模實驗顯示，DSRL 持續優於強基線。這兩點是目前最核心的結果敘述。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1776319616955-19cu.png\" alt=\"PreRL：把強化學習搬進預訓練空間\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>摘要裡唯一明確公開的數字，是 NSR-PreRL 的行為變化：transition \u003Ca href=\"\u002Fnews\u002Fanthropic-mythos-private-bank-risk-fears-zh\">tho\u003C\u002Fa>ughts 增加 14.89 倍，reflection thoughts 增加 6.54 倍。作者用這組數字來支持一個判斷：NSR 不只是把錯誤壓下去，還能更快地清掉不良推理空間，並刺激模型出現更多反思式的中間步驟。\u003C\u002Fp>\u003Cp>這組結果的意義在於，它把「推理變強」拆成可觀察的行為訊號，而不只是最後答案對不對。對做 reasoning trace、self-correction 或 search-like generation 的團隊來說，這種訊號很有參考價值，因為它指向的是模型內部的探索方式。\u003C\u002Fp>\u003Cp>但也要講清楚，摘要沒有提供完整 benchmark 細節。沒有任務名稱、沒有逐項分數、沒有完整 evaluation table。換句話說，我們可以說它宣稱優於強基線，也可以說它觀察到某些推理行為大幅增加；但不能從這份 raw 資料直接推導出它在哪些資料集上、贏了多少、或是否對所有場景都穩定。\u003C\u002Fp>\u003Ch2>對開發者有什麼影響\u003C\u002Fh2>\u003Cp>如果你在做 LLM 系統，這篇論文最值得注意的地方，是它重新定義了強化學習的作用點。它不是只把 prompt-response 的結果修正得更好，而是試著把模型的生成先驗整體往「更會推理」的方向推。這對需要多步推理、探索中間步驟、或需要模型自己找路徑的應用，會特別有吸引力。\u003C\u002Fp>\u003Cp>NSR 的設計也很實用。很多訓練流程都偏向正向監督，也就是把正確答案拉高。但這篇論文提醒你，負樣本不只是拿來懲罰錯誤，它也可以主動切掉壞路徑，讓模型更容易走到反思式軌跡。對有做 chain-of-thought、校正式生成、或自我檢查流程的人來說，這是很直接的設計靈感。\u003C\u002Fp>\u003Cp>DSRL 也提供一個很工程化的想法：先粗後細。先用 pre-train-space 的強化把推理空間打開，再切到標準 RL 做收斂。這種 staged optimization 的思路，往往比想用單一目標一次解決所有問題更容易管理。\u003C\u002Fp>\u003Cul>\u003Cli>PreRL 把訓練目標從 \u003Ccode>P(y|x)\u003C\u002Fcode> 推到 \u003Ccode>P(y)\u003C\u002Fcode>。\u003C\u002Fli>\u003Cli>NSR-PreRL 被作者描述為能快速剪掉錯誤推理路徑。\u003C\u002Fli>\u003Cli>DSRL 結合了 pre-train-space 的擴張與標準 RL 的精修。\u003C\u002Fli>\u003Cli>摘要公開的數字只有 14.89 倍與 6.54 倍，沒有完整 benchmark 表。\u003C\u002Fli>\u003Cli>這篇的重點是訓練空間的重設，不是單純再做一次 RLVR。\u003C\u002Fli>\u003C\u002Ful>\u003Ch2>限制與還沒回答的問題\u003C\u002Fh2>\u003Cp>最大的限制很明顯：目前看到的是摘要，不是完整論文。它告訴我們方法方向與幾個結果，但沒有足夠資訊去評估失敗模式、訓練成本、穩定性，或對模型規模的敏感度。\u003C\u002Fp>\u003Cp>另一個還沒釐清的問題是泛化範圍。摘要說有理論與實驗上的梯度對齊驗證，但沒有說這個結論在不同架構、不同任務、不同領域是否都成立。對實務團隊來說，這會直接影響它能不能搬進現有 pi\u003Ca href=\"\u002Fnews\u002Fopenai-limits-gpt-54-cyber-trusted-firms-zh\">pe\u003C\u002Fa>line。\u003C\u002Fp>\u003Cp>部署面也還有疑問。把更新放到 \u003Ccode>P(y)\u003C\u002Fcode> 的 pre-train space 聽起來很強，但它到底要怎麼接到既有的 RLHF 或 RLVR 流程，摘要沒有交代。作者把 PreRL 定位成標準 RL 的 surrogate，可是從這份資料還看不出整合成本有多高。\u003C\u002Fp>\u003Cp>所以比較務實的結論是：這篇論文不是叫你明天就把現有 RL stack 全換掉，而是在提醒一件事——如果你的模型卡在推理深度、反思能力或探索多樣性，也許問題不只在 reward 設計，而是訓練訊號打到的層次不夠前面。PreRL 想做的，就是把學習壓力往更底層搬，先改變模型「有哪些路可走」，再來談「哪條路最對」。\u003C\u002Fp>","PreRL 把 RL 從 P(y|x) 轉向 P(y)，直接在預訓練空間做獎勵更新，主打增強推理與探索。摘要也提到 NSR 與 DSRL 兩種設計。","arxiv.org","https:\u002F\u002Farxiv.org\u002Fabs\u002F2604.14142",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1776319619099-op5n.png","research","zh","d1bbd868-15d4-459c-9e2b-2626c779b4ef",[17,18,19,20,21],"PreRL","RLVR","pre-train space","negative sample reinforcement","dual space RL",2,"2026-04-16T06:06:37.875971+00:00","2026-04-16T06:06:37.854+00:00",{"tags":26,"relatedLang":37,"relatedPosts":41},[27,29,31,33,35],{"name":18,"slug":28},"rlvr",{"name":17,"slug":30},"prerl",{"name":19,"slug":32},"pre-train-space",{"name":21,"slug":34},"dual-space-rl",{"name":20,"slug":36},"negative-sample-reinforcement",{"id":15,"slug":38,"title":39,"language":40},"prerl-training-llms-in-pre-train-space-en","PreRL: Training LLMs in pre-train space","en",[42,48,54,60,66,72],{"id":43,"slug":44,"title":45,"cover_image":46,"image_url":46,"created_at":47,"category":13},"33c9a55c-a8c0-4367-b742-f4567d1e98e3","mathematicians-warn-ai-could-distort-math-zh","數學界警告 AI 會扭曲證明標準","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780504386035-080l.png","2026-06-03T16:32:29.415063+00:00",{"id":49,"slug":50,"title":51,"cover_image":52,"image_url":52,"created_at":53,"category":13},"5c3cb90f-7efd-426f-8c09-32a303f82be9","humanoid-gpt-zero-shot-motion-tracking-zh","Humanoid-GPT：用 GPT 擴大動作追蹤","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780469319284-znpc.png","2026-06-03T06:47:34.463464+00:00",{"id":55,"slug":56,"title":57,"cover_image":58,"image_url":58,"created_at":59,"category":13},"e3a4b0f7-03b3-43c6-ae51-906b337c5c2f","ipt-vlms-hidden-space-reasoning-zh","IPT 讓 VLM 更會想像隱藏空間","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780468394735-1k40.png","2026-06-03T06:32:46.560029+00:00",{"id":61,"slug":62,"title":63,"cover_image":64,"image_url":64,"created_at":65,"category":13},"5fca9fe5-af66-47ce-85f0-0ffe1bee30b9","neuron-selectivity-changes-with-scale-zh","神經元選擇性會隨規模改變","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780467514422-7oss.png","2026-06-03T06:17:44.126547+00:00",{"id":67,"slug":68,"title":69,"cover_image":70,"image_url":70,"created_at":71,"category":13},"9f9c2a61-d058-4c62-bb88-106e683657f0","nasa-landsat-wild-disturbances-rising-zh","NASA Landsat：野火與風暴變多","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780448581102-owp0.png","2026-06-03T01:02:37.513233+00:00",{"id":73,"slug":74,"title":75,"cover_image":76,"image_url":76,"created_at":77,"category":13},"3479bdee-21fb-4fda-9572-9394caba01b0","adacodec-predictive-visual-code-video-mllms-zh","AdaCodec 用預測碼壓縮影片 token","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780381988591-z2sp.png","2026-06-02T06:32:28.249023+00:00",[79,84,89,94,99,104,109,114,119,124],{"id":80,"slug":81,"title":82,"created_at":83},"f18dbadb-8c59-4723-84a4-6ad22746c77a","deepmind-bets-on-continuous-learning-ai-2026-zh","DeepMind 押注 2026 連續學習 AI","2026-03-26T08:16:02.367355+00:00",{"id":85,"slug":86,"title":87,"created_at":88},"f4a106cb-02a6-4508-8f39-9720a0a93cee","ml-papers-of-the-week-github-research-desk-zh","每週 ML 論文清單，為何紅到 GitHub","2026-03-27T01:11:39.284175+00:00",{"id":90,"slug":91,"title":92,"created_at":93},"c4f807ca-4e5f-47f1-a48c-961cf3fc44dc","ai-ml-conferences-to-watch-in-2026-zh","2026 AI 研討會投稿時程整理","2026-03-27T01:51:53.874432+00:00",{"id":95,"slug":96,"title":97,"created_at":98},"cf046742-efb2-4753-aef9-caed5da5e32e","adaptive-block-scaled-data-types-zh","IF4：神經網路量化的聰明選擇","2026-03-31T06:00:36.990273+00:00",{"id":100,"slug":101,"title":102,"created_at":103},"53a0dc54-0371-4e40-8d5e-74e94a73840c","geometry-aware-similarity-metrics-for-neural-representations-zh","超越距離測量：用微分幾何重新理解神經網路","2026-03-31T06:01:01.241968+00:00",{"id":105,"slug":106,"title":107,"created_at":108},"fee7d472-a775-4b1d-bbc2-1e8bca1bbf8b","on-the-fly-repulsion-in-the-contextual-space-for-rich-divers-zh","讓AI繪圖更有創意：用排斥力提升生成多樣性","2026-03-31T06:01:25.439673+00:00",{"id":110,"slug":111,"title":112,"created_at":113},"a9901203-d69b-447b-8854-15d14eab32b4","vision-aided-beam-prediction-cnn-eca-zh","影像輔助波束預測升級 CNN","2026-04-01T10:00:25.8073+00:00",{"id":115,"slug":116,"title":117,"created_at":118},"b55e7dd4-0a24-4b3d-804d-b0309a03f498","triple-band-fss-mimo-antenna-sub-6-ghz-zh","三頻 FSS MIMO 天線瞄準 sub-6 GHz","2026-04-01T13:18:36.857305+00:00",{"id":120,"slug":121,"title":122,"created_at":123},"f68290bd-e7f3-4b30-ba22-dcd4e0130a66","openclaw-1299-repos-eight-weeks-analysis-zh","OpenClaw 1299 個 Repo 的資料解讀","2026-04-02T05:03:45.208411+00:00",{"id":125,"slug":126,"title":127,"created_at":128},"ed9f80eb-eb02-4d35-8ad4-0ddf428751dd","beam-coherence-aware-combining-mmwave-mimo-zh","毫米波 MIMO 的雙階合併法","2026-04-02T05:27:26.897188+00:00"]