SAE 不是特徵袋

稀疏自編碼器的特徵，真的能像「特徵袋」一樣穩定組合嗎？

這篇論文指出，SAE 的活躍 latent 集合反映的是模型內部相似性，不是人類概念邊界。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：摘要無公開 benchmark 數字
• 突破點：用活躍集合重算相似度

這篇論文把一個常見的直覺拿來重測：如果 sparse autoencoder（SAE）真的能把模型內部特徵拆得很清楚，那它們在輸入變動時，應該也能像人類概念那樣保持可解釋的組合關係。作者的結論很直接：在真實語料與一般設定下，事情沒有這麼單純。

他們不是在問 SAE 能不能找出有意義的特徵，而是在問另一個更麻煩的問題：當你比較「整組活躍 latent」時，這些集合到底是在對齊人類概念，還是在反映模型自己學到的內部相似性？這個差別很大，因為前者支持可讀的概念解釋，後者則比較像模型自己的幾何結構。

這篇在解什麼痛點

論文的出發點，來自一條最近的詮釋線索：先前工作發現，大型語言模型的表示大致能重建人類的 category boundary，但對 category 內部的 typicality 細節就沒那麼準。那類分析用的是 dense representation 的 cosine similarity。

這篇作者想知道：如果把相似度改成 sparse autoencoder 的 latent overlap，結論會不會變？這不是小改動。因為 SAE 在很多人眼中，就是比較「可讀」的模型內部視角。它把一個密集向量拆成稀疏的 active features，看起來更像人類可以命名、可以追蹤的訊號。

但可解釋工具有一個硬條件：語義要穩。如果一個 feature 在不同輸入下的變化，和人類概念變化不是同一套邏輯，那它就不太像真正穩定的概念單元。這篇論文就是在壓測這個假設。

換句話說，作者不是只想證明 SAE 有沒有用，而是想拆掉一個常見誤會：稀疏，不等於概念上可組合；看起來像 feature bag，也不代表真的能用 bag-of-features 的方式理解。

方法怎麼做

這篇的核心方法很簡單，但方向很不一樣。它不再比較 dense vector 的 cosine similarity，而是改看 sparse autoencoder 的 active latent set overlap。白話就是：兩個輸入各自會點亮一組 latent，作者就看這兩組「亮起來的特徵」重疊多少，拿這個重疊量當作相似度訊號。

這個改法的重要性在於，它把比較單位從「向量距離」換成「集合關係」。如果 SAEs 真的是一種更接近概念的表示方式，那集合層級的 overlap 也許會更貼近人類對類別與典型性的直覺。

作者先做了驗證，避免這個 overlap 指標只是空有形式。他們用受控的 toy model 來測試，看看 SAE latent set 能不能恢復類似 union 的組合結構。接著也把方法放到自然文本上，檢查得到的鄰域是否有語義一致性。

這一步很關鍵。因為如果 overlap 指標連基本的組合或語義鄰近都抓不到，後面的分析就沒有意義。論文的說法是：這個指標確實能在簡化情境中抓到某種組合結構，也能在文本上產生看起來合理的語義鄰域。

也就是說，問題不在於方法完全失靈。相反地，方法是有訊號的，只是那個訊號未必是人類概念語義。

它實際證明了什麼

主結果是負面的，但很有價值：SAE 的 activation set 並沒有比 dense embeddings 或 residual-stream states 更好地重建人類的 category boundary，也沒有更準確地捕捉 category 內的 typicality。

這句話很重要，因為它直接打破一個常見期待：更稀疏、更可分的表示，應該更容易對齊人類概念。至少在這篇的設定裡，沒有看到這件事成立。

作者進一步指出，這些 set overlap 更像是在追蹤模型內部的相似性結構。也就是說，SAE 看起來很有語義，不代表它的語義是「人類式」的。它可能只是把模型自己覺得相近的東西，拆成更好看的 sparse 形式。

接著他們把焦點放到受控的語義修改上，觀察 active latent set 在概念變動時怎麼變。結果顯示，人類對「概念變了多少」的判斷，和 SAE active set 的變化之間，有明顯落差。

這個落差把論文的核心觀點講得很清楚：在一般情況下，SAE 特徵不太像可以用簡單 bag-of-features 方式組合的東西。不是說它們沒有結構，而是說這個結構不是人類直覺裡那種加法式、拼圖式的概念結構。

對開發者代表什麼

如果你在做 mechanistic interpretability、feature discovery，或是想用 SAE 幫模型除錯，這篇是個提醒：稀疏特徵可以有用，但不要自動把它們等同於人類概念。

實作上，這代表你不能只看幾個漂亮案例，就推論某個 latent 是穩定的概念單元。當輸入稍微變一下，特徵集合是否還保持同樣語義，才是更重要的測試。尤其如果你的工作流依賴 feature attribution、概念編輯，或是以 feature 為單位做解釋，那你需要驗證它在 semantic perturbation 下是否仍然可讀。

這篇也提醒一個評估上的盲點：某個 similarity measure 在 toy setting 裡有效，不代表它在真實語言資料中就能對齊你在意的概念結構。對工程端來說，這表示你要同時看兩件事：局部鄰域是否語義一致，以及更高層的 compositional behavior 是否成立。

如果只看前者，很容易高估 SAE 的人類可解釋性。因為一組 feature 看起來很整齊，不代表它在概念變動時也會維持同樣的語義邊界。

限制與還沒回答的事

這篇摘要沒有公開完整 benchmark 數字，所以沒有 accuracy、correlation 或 effect size 可以拿來量化差距。讀這篇時，比較適合把它當成一個方向性的結果：作者證明了 mismatch 存在，但摘要沒有告訴你 mismatch 到底有多大。

另外，這篇聚焦的是 SAE latent set 當作 similarity lens，不是對所有 SAE 訓練方式、所有模型層、或所有語言模型的全面總結。所以它比較像是在反對「簡單的特徵袋語義」，而不是宣告所有 SAE-based interpretability 都沒價值。

真正留下來的研究問題是：如果不是人類概念，SAE 特徵到底穩定對齊什麼？論文目前給的答案是模型內部相似性。這已經比完全沒有訊號好很多，但也意味著它的語義更條件式，不是那種可以直接拿來當人類詞義替代品的表示。

對台灣開發者來說，這篇的實際意義很實在：做可解釋性工具時，別把「稀疏」誤認成「可組合」；也別把「看起來語義化」誤認成「真的對齊人類概念」。這兩件事不是同一件事，而這篇論文正是在提醒你，它們差很多。

• SAE 的活躍集合可以提供有意義的相似度訊號。
• 但它們不會自動比 dense 表示更貼近人類分類邊界。
• 做 interpretability 時，特徵要先經過 semantic stress test。

所以，如果你的工作是把模型內部變得更可懂，這篇的態度可以濃縮成一句話：先把 SAE 當成模型內部結構的探針，不要先把它當成人類概念的保證書。