EqR 讓潛在推理可擴展

EqR 把推理看成 latent space 的收斂過程，讓模型不靠外部驗證器也能靠反覆更新往正確解靠近。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：Sudoku-Extreme 超過 99%
• 突破點：學到任務型吸引子

這篇論文想證明一件事：迭代式推理之所以能隨著 test-time compute 變強，不只是因為「多跑幾步」，而是因為模型在 latent space 裡學到了會把狀態拉向正確答案的穩定點，也就是 attractors。

對開發者來說，這個觀點很重要。它把原本有點像黑箱技巧的反覆推理，改寫成一個可以用動態系統理解的機制。如果 hidden state 真的會朝著解答對齊的固定點收斂，那麼 compute 就不是隨便堆，而是可以更有策略地分配：難題多跑幾輪，搜尋空間亂的時候多開幾條軌跡，收斂已經很明顯時就提早停下來。

這篇在解什麼痛點

作者先碰一個很實際的問題：很多 reasoning system 在測試時加算力就會變強，但我們其實不一定知道它到底在做什麼。它是在搜尋？在修正？還是在重複某種脆弱 heuristic？

EqR，也就是 Equilibrium Reasoners，想處理的就是這個不確定性。論文把目標定義成一類可擴展的推理系統：latent state 會被反覆更新，直到停在一個穩定的解答狀態。重點不是靠外部 verifier，也不是靠特定任務先驗，而是讓模型自己學出正確的動態。

這個差別對工程實作很有感。若方法需要額外 checker、手工先驗或特殊搜尋骨架，通常很難跨任務搬運。EqR 的主張是，推理可以從模型自己學到的 dynamics 長出來，而不是靠外掛補丁撐起來。

方法到底怎麼運作

核心概念是 attractor。用動態系統的說法，attractor 是附近軌跡會往它靠攏的穩定狀態。這篇論文的假設是：如果模型在 latent space 裡學到的是「任務條件化」的 attractor，那麼穩定固定點就會對應到有效解答。

EqR 的做法，是在測試時反覆更新 latent state。它有兩種擴展方向。第一種是 depth，也就是把迭代次數拉長，讓 latent state 有更多機會收斂。第二種是 breadth，也就是從多個初始化出發，再把隨機軌跡聚合起來，增加落進好 basin 的機會。

白話一點，depth 就是「多想幾輪」，breadth 就是「多試幾個起點」。論文的說法是，這不是一般性的搜尋小技巧，而是在走一個模型訓練時已經學好的 attractor landscape。

作者也把這套觀點延伸成 compute-adaptive 的推理方式。簡單案例可能只要 1 到 5 個 iteration step 就會收斂，難案例則可能需要大得多的算力。也就是說，系統不是固定花同樣成本，而是根據任務難度動態調整。

論文實際證明了什麼

摘要裡有一個很醒目的結果，但沒有完整 benchmark 表。它說，把 latent reasoning unroll 到相當於 40,000 層時，準確率可以從 feedforward model 的 2.6% 提升到 Sudoku-Extreme 的 99% 以上。這是摘要中最具體的數字，也說明這個方法在至少一個高難度推理任務上，確實能大幅超過純前饋基線。

更關鍵的是，論文主張 test-time scaling 的收益，和更強的 solution-aligned attractor convergence 緊密相關。也就是說，性能提升不只是和更多 compute 同時發生，而是 latent state 真的更穩定地落進了正確的狀態區域。

但摘要沒有公開完整 benchmark 細節，所以我們看不到更廣的任務表、延遲成本、記憶體開銷，也看不到跨多任務的比較。換句話說，Sudoku-Extreme 的結果很亮眼，但它比較像是對 attractor 假說的證據，而不是整體泛化能力的完整證明。

論文還強調，簡單案例可以快速收斂，困難案例則需要大幅擴張 compute。這代表它想做的不是讓每個任務都一樣貴，而是讓推理成本跟難度掛鉤。這點對實際部署很重要，因為真正有價值的系統通常不是「永遠跑最久」，而是「該省就省，該加就加」。

對開發者有什麼影響

如果你在做 reasoning system，這篇的價值不只是結果，而是它給了一個比較可操作的心智模型：test-time scaling 可能不是單純「多 sample 幾次」，而是 latent state 在往學到的 attractor 前進。

這會影響你怎麼設計系統。你可能可以根據 convergence 行為來做 stopping rule。你也可以在 depth 和 breadth 之間做取捨：有些任務更需要反覆 refinement，有些任務更需要多起點搜尋。若 attractor 的觀點成立，它也可能解釋為什麼某些 iterative model 在相近 compute budget 下，泛化表現還是比別人好。

不過這裡也有要保留的地方。摘要提出了很強的機制主張，但我們還不知道這個 attractor 解釋在不同任務、不同架構、不同訓練設定下有多穩。摘要也沒有告訴我們，當 compute 拉到非常極端的程度時，效率代價會不會變得難以接受。

所以比較務實的讀法是：這是一個很有潛力的 scalable latent reasoning 框架，但還不是能直接搬進所有 production system 的完整配方。如果你在研究 iterative inference、latent space search，或 compute-adaptive reasoning，這個 attractor 角度值得注意，因為它把性能、算力分配和收斂行為串成同一套語言。

還有哪些限制沒說完

摘要還留下幾個重要問題。它沒有說這方法是不是依賴特定任務家族，也沒有說 attractor dynamics 的訓練難度如何，更沒有交代初始化和迭代排程的敏感度。這些都會直接影響它能不能變成穩定的工程模式。

另外，摘要沒有提供和 verifier-based reasoning system 的直接比較，也沒有給 breadth 與 depth scaling 的成本拆解。這表示這篇論文最強的地方，是機制解釋和單一任務上的 proof of concept，而不是完整的部署指南。

但整體訊息仍然很清楚：可擴展的推理，可能來自 latent space 裡的穩定解答盆地，而不只是 brute-force 反覆迭代。對開發者來說，這是個實用的思考框架，因為它把「為什麼有效」和「怎麼分配算力」放進同一個模型裡。

一句話總結

EqR 把推理改寫成一個收斂問題：模型在 latent space 裡學到任務型 attractor，然後靠 depth 和 breadth 的 test-time scaling 往正確解靠近。

• 這篇的重點不是外部 verifier，而是模型自己學出穩定解答動態。
• 摘要唯一明確數字是 Sudoku-Extreme 超過 99%，但沒有完整 benchmark 表。
• 對工程實作來說，它提供了 convergence、stopping rule、depth/breadth 取捨的思路。

如果你在看 iterative reasoning 這條線，這篇值得讀的不是只有分數，而是它把 test-time scaling 變成一個動態系統問題。這種說法，比單純說「多算幾步就會更準」更接近真正可設計的推理機制。