線性化 Transformer 但不掉品質

以前做 Transformer 線性化常像亂換零件，現在這篇用分析驅動的改造，能更保住模型品質。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：Up to 32B parameters
• 突破點：凍結骨幹線性化

長上下文推理一直是 Transformer 的痛點。因為 causal self-attention 的成本會隨 token 數快速上升，context 越長，延遲和算力帳單就越難看。這篇論文要解的，不是單純把注意力變便宜，而是要在不大改模型骨幹的前提下，找出哪些線性化設計真的能維持品質。

這個方向對開發者很實際。很多後訓練式的 linearization 方法都在追求效率，但真正難的是：一旦把 attention 換掉，模型原本會做的事還剩多少。作者把研究限制在 frozen-backbone 設定，等於把問題縮小成「怎麼替換 attention，損失最少」。

這篇在修什麼痛點

核心瓶頸很直白，就是 causal self-attention。上下文一長，計算量就跟著膨脹，這對長文件、檢索型工作流、以及需要記很多前文的任務都很傷。不是模型不能跑，而是跑得越久越貴。

過去已經有不少把 Transformer 線性化的嘗試，但這篇論文認為，領域還缺一個清楚的判準：到底是哪個元件在保品質？如果一個線性化模型表現不錯，是因為哪個設計真的起作用，還是只是碰巧。

所以作者不是直接丟一個新架構，而是先把 backbone 凍住，再去看 state update 的設計怎麼影響結果。這種做法的好處是，能把「整個模型重訓」和「替換注意力機制」分開看，讓效率改造的因果關係更清楚。

方法到底怎麼做

論文的分析重點在 softmax。作者主張，softmax 依賴 key-dependent、rank-1 的 orthogonal projections。白話來說，這個分析幫助解釋為什麼 delta-style networks 會比單純的 gated accumulation 方法更有機會保住效果。

這不是只靠直覺換模組。作者是先用分析指出 approximation error 從哪裡來，再去補那些容易掉資訊的地方。摘要點名了三個結構性改造：sink tokens、short convolutions、fixed-budget cache routing。

這三個元件的角色可以這樣理解：sink tokens 提供一個比較穩定的資訊匯聚點；short convolutions 補上線性更新容易漏掉的局部混合；fixed-budget cache routing 則是在記憶有限時，控制哪些內容該被保留、哪些該被路由出去。

• Sink tokens：讓資訊有穩定落點。
• Short convolutions：補局部混合。
• Fixed-budget cache routing：限制記憶路由。

重點是，整個 backbone 都是 frozen 的。這代表改善不是來自重新訓練整個模型，而是來自線性化設計本身。對工程上來說，這很重要，因為它更接近「替換推理路徑」而不是「重做一個新模型」。

論文實際證明了什麼

摘要有給出幾個具體訊號，但沒有完整 benchmark 表。作者說，他們把方法擴展到 LLaMA 和 Qwen 系列，模型規模最高到 32B parameters。這表示方法不是只在小模型上試水溫，而是有往大模型推的跡象。

在效果上，摘要說這個方法優於先前的 post hoc baselines，評估指標是 MMLU。這至少說明，線性化不一定得靠犧牲一般能力來換速度，品質可以被拉回來一段。

在長上下文部分，作者聲稱這個方法能匹配 complex adaptive-caching frameworks 的 long-context retrieval 表現。這點很關鍵，因為很多壓縮記憶或線性化方案，最先壞掉的通常就是檢索和回憶能力。

不過，摘要沒有公開完整 benchmark 細節。像是 MMLU 的實際分數、retrieval 的量化指標、延遲、記憶體占用，這些都沒有在 abstract 裡完整列出。所以我們能確定方向是正向的，但還不能只靠摘要判定提升幅度有多大。

即便如此，這篇的訊息仍然很明確：分析驅動的線性化，比起單純把 attention 換成更便宜的近似，較有機會保住原本 Transformer 的行為。尤其是在長上下文和通用能力這兩件事上，作者至少證明了它不是只省算力、也不是只保局部表現。

對開發者有什麼影響

如果你在做長上下文推理、文件理解、檢索增強系統，這篇的價值在於它提供了一個比較可控的改造思路。不是所有 linearization 都一樣好，真正影響品質的，可能是 state update 的設計，而不是單純把 attention 換掉。

這對部署端也有意義。因為 backbone frozen，代表你有機會在不全面重訓的情況下嘗試效率升級。當然，前提是替換結構要夠接近原本 attention 的行為，不然省下來的算力會被品質損失吃掉。

另一個實務上的啟發是，推理優化不一定只能靠 brute force 搜架構。這篇是先分析 softmax 的性質，再反推該補哪些結構。對工程團隊來說，這種方法論有助於少走一些盲改的彎路。

限制與還沒回答的問題

目前最大的限制，是來源只有 abstract。它告訴我們方法跨了哪些模型、最高到多大規模，也告訴我們有優於 baseline，但沒有把完整實驗表攤開。這會讓實務判斷少了很多細節。

摘要也沒有說，這套方法在 serving stack 裡好不好接、對不同任務 mix 是否敏感、以及實際的 compute 與 memory tradeoff 到底是多少。這些都是部署時一定會問的問題，但來源沒有提供。

另外，這些結構性改造能不能廣泛轉移到其他模型家族，摘要也還沒證明。它對 LLaMA 和 Qwen 的結果是正向訊號，但還不足以推論到所有 Transformer 都會同樣受益。

所以，這篇比較像是把問題定義清楚：線性化不是單純的速度技巧，而是有失敗模式的工程問題。只要你知道 state update 扮演什麼角色，就比較能判斷什麼情況下線性替代會站得住，什麼情況下會掉品質。

對台灣這邊做模型部署、RAG、長文摘要或企業內部知識搜尋的團隊來說，這篇最值得記住的一句話是：如果你要把 Transformer 線性化，設計不是小事，state update 才是關鍵變數。