CARE 用信心分派 LoRA 專家

當模型把每個 token 都當成一樣處理時，算力很容易花在簡單題上，真正難的地方反而不夠用。

CARE 依照 router 信心動態分派 LoRA 專家，讓不確定 token 用更多算力、簡單 token 用更少。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：八個 commonsense benchmarks
• 突破點：信心驅動的專家納入

Spend Experts Where You Are Unsure: Confidence-Adaptive Routing for Mixture-of-Experts LoRA 要解的，是 MoE-LoRA 很常見的一個浪費：固定 top-k 路由不管 token 難不難，都給同樣數量的專家。摘要的意思很直接，模型其實已經在 router 輸出裡留下了不確定性線索，只是過去沒有把這條線索拿來做路由決策。CARE 做的事，就是把這個訊號變成每個 token 的動態規則。

這種想法對做模型工程的人很有感。你如果已經在用 MoE-LoRA，就會知道路由不是附加功能，而是算力分配器。固定分派看起來簡單，實際上卻可能把專家容量浪費在容易的 token 上，難的 token 反而拿不到更多幫助。CARE 想做的不是再加一層複雜控制器，而是讓既有 router 自己決定該不該多花一點算力。

它想修正什麼痛點

傳統 MoE 版本的 LoRA，常見做法是每個 token 固定送進 k 個專家。這種 top-k 路由好實作，也容易理解，但它背後其實有個假設：每個 token 都值得同樣多的專家容量。摘要明確指出，這個假設不太合理，因為不同 token 的不確定性差很多。有些 token 本來就很穩，基座模型就能處理；有些 token 則需要更多專家介入。

CARE 的核心觀察是，router 的輸出分佈本身就能反映不確定性。分佈越尖，代表 router 越清楚該選哪些專家。分佈越平，代表它越猶豫。與其硬性規定每個 token 都要拿一樣多的專家，不如直接用這個訊號來決定資源分配。

這不是單純的效率調整，而是整個 MoE 系統裡的資源管理策略。路由決定模型把有限的 expert budget 花在哪裡。如果路由策略不對，就會同時發生兩件事：簡單 token 被過度服務，難 token 卻沒有拿到足夠幫助。CARE 的目標，就是讓這筆預算更精準。

CARE 怎麼運作

CARE 是 Confidence-Adaptive Routing of Experts。名字已經把方法講得很白話：用信心來調整專家路由。它不是固定選 k 個專家，而是依照 router 權重由高到低往下加，直到累積機率質量達到某個門檻。這個概念有點像 nucleus sampling，只是採樣對象不是 token，而是專家。

摘要還提到一個額外機制：如果被納入的專家彼此出現分歧，CARE 允許再做小幅擴展。作者把這種分歧視為一種 epistemic 訊號，也就是模型對這個輸入還沒完全定案，可能值得再多給一點專家容量。這個設計的重點不是把路由做得更炫，而是把「猶豫」這件事直接轉成資源增加的理由。

但只靠信心門檻還不夠。因為如果完全照分佈走，平均活躍專家數可能飄來飄去，最後算力預算失控。CARE 因此加了一個 budget thermostat，用來校準門檻，讓平均啟用的專家數貼近目標預算。這個設計很實際，因為很多動態路由方法理論上很漂亮，最後卻卡在平均成本不好控。

從工程角度看，這套方法有兩個吸引人的地方。第一，它是 drop-in 規則，可以直接接到既有 MoE-LoRA 架構。第二，它是 single-pass，而且不需要額外參數。這表示它沒有引入第二次前向、沒有多一個控制器，也沒有逼你重訓一個新模組。對想做效率優化的團隊來說，這種改動成本很低。

論文實際證明了什麼

摘要說明，作者在 LLaMA-3.1-8B 和 Qwen2.5-7B 上，跑了八個 commonsense benchmarks，另外還包含 math、code 和 knowledge 類任務。這代表它不是只挑單一領域測試，而是試著看這種路由策略能不能跨不同型態的工作都站得住腳。對路由法來說，這很重要，因為只在單一 benchmark 變好，說服力通常有限。

結果上，CARE 在 matched compute 的情況下優於固定 top-k 的 MoE-LoRA。摘要也說，它能在啟用較少專家的情況下，達到固定 k=4 baseline 的表現。這裡沒有公開完整 benchmark 數字，所以不能直接拿出提升幾分來說，但方向很清楚：同樣算力下表現更好，或是同樣表現下用更少專家。

另一個值得注意的點，是摘要提到同樣的 confidence 和 disagreement 訊號，也能改善 out-of-distribution detection，表現優於 MSP、entropy 和 multi-pass proxies。這對實務很有意思，因為路由不確定性和 OOD 偵測，本質上都在問同一件事：模型對這筆輸入到底有多有把握。若一套訊號能同時用在兩個地方，實作價值就更高。

摘要也提到作者用 nucleus fidelity、budget optimality，和對 disagreement 的 epistemic 解讀來支撐設計。不過這部分摘要沒有展開細節，所以我們只能知道它們是論證的一部分，不能進一步推測分析方法的完整內容。至少從摘要看，作者不是只丟一個 heuristic，而是想同時從經驗結果和概念層面說服讀者。

對開發者有什麼影響

如果你正在做 MoE-LoRA 或類似的參數高效率微調，CARE 提供了一個很實用的方向：不要把路由當成固定配額，而是把它當成動態算力分配器。這對算力敏感的場景特別有用，因為它試圖在不犧牲品質的前提下，減少簡單 token 的不必要專家啟用。

它也讓路由策略變得比較可解釋。固定 k 路由雖然簡單，但你很難說明為什麼某個 token 跟另一個 token 要用一樣多的專家。CARE 的規則就直觀很多：越不確定，越多專家；專家彼此越分歧，越可能值得再往上加一點。這種敘事對 debug 和系統溝通都比較友善。

不過，摘要也留下幾個空白。第一，沒有公開完整 benchmark 數字，所以讀者無法從摘要判斷實際提升幅度。第二，摘要沒有交代 thermostat 對不同目標預算有多敏感，也沒有說在更多架構或資料集上是否同樣穩定。第三，雖然 OOD detection 的結果看起來不錯，但摘要沒有說路由本身在更強烈的 distribution shift 下會不會失準。

所以，CARE 比較像是一個可落地的路由規則，而不是一個已經把所有系統問題都解完的新架構。它的優點是簡單、單次前向、沒有額外參數，缺點則是摘要沒有把可復現的細節講滿。對開發者來說，這代表它值得關注，但還需要看完整論文才能評估導入成本與穩定性。

你可以怎麼理解這篇工作

最簡單的說法是，CARE 把 router 的信心值變成專家預算的開關。它不是想讓 MoE-LoRA 更大，而是讓它更會花錢。簡單 token 少花一點，難 token 多花一點，整體算力就有機會用得更有效率。

這篇工作的訊息也很清楚：router 輸出不只是選擇分數，還可以是每個 token 的不確定性訊號。只要你把這個訊號拿來做動態分派，就有機會同時改善 matched-compute 表現、維持單次推理流程，甚至順手把 OOD detection 一起拉上來。對做效率型模型的人來說，這是一個值得記住的設計模式。

• CARE 用 router 信心取代固定 k，讓專家數量隨 token 難度變動。
• 它維持 single-pass、無額外參數，適合直接接進既有 MoE-LoRA 系統。
• 摘要主張它在八個 commonsense benchmarks 與其他任務上有效，但沒有公開完整數字。