ReToken：一個 token 抓回視覺脈絡

13.4 分是 ReToken 在 Visual Haystacks 上帶給 Qwen3VL-8B 的提升。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：Visual Haystacks 提升 13.4 分
• 突破點：單一可學習檢索 token

ReToken: One Token to Improve Vision-Language Models for Visual Retrieval 想解的問題很直接：當視覺上下文越拉越長，模型會開始漏掉關鍵細節；但如果把所有視覺 token 全塞進去，GPU 記憶體又很快爆掉。這篇論文的做法不是重做一個新架構，而是加上一個很小的檢索機制，讓模型先把相關視覺證據抓回來，再做推理。

這種設計對做圖像助理、影片助理、長文檔視覺問答的人很有感。因為真正難的地方，往往不是模型看不懂，而是它在一堆干擾資訊裡找不到該看的那一小段。ReToken 的目標，就是把這個「找」的步驟變得更便宜、更集中。

它在解什麼痛點

多模態模型在短輸入時通常還算穩，但一旦場景變得擁擠、畫面變長、或影片時間軸拉高，效能就容易掉。原因不難理解：視覺 token 越多，干擾越多，模型越容易把注意力分散到不相關的地方。

另一個現實限制是算力。不是所有 token 都能無限制地丟進模型。對開發者來說，這會變成很熟悉的取捨：要保留更多上下文，就得付出更多記憶體和計算；要省資源，就可能把答案需要的關鍵畫面一起裁掉。

ReToken 的想法就是把這個取捨往前推一步。不是讓模型看全部，而是先從預先填好的視覺 KV cache 裡，抓出和當前問題最相關的 token，再讓後續推理集中在這些證據上。

方法怎麼運作

論文把 ReToken 描述成一個單一的可學習 embedding。白話一點，它像是一個小型的查詢向量，專門負責去視覺 KV cache 裡撈回有用的內容。

這個設計的核心是稀疏性。它不是讓模型對所有視覺 token 做全面注意力，而是只挑出一小組和問題相關的 token。這樣做的好處很明顯：推理時更輕量，模型看到的上下文也更聚焦。

從工程角度看，這種方法的吸引力在於它很薄。它不是一整套重型 retriever，也不是重新發明一個多模態架構，而是把一個可訓練的小元件接到既有 vision-language model 上，讓原本的模型更會找資料。

摘要還提到，這個機制只用一個小型 image-QA 資料集來訓練。這點很重要，因為它暗示這個檢索能力不一定要靠超大規模額外監督才學得起來。對想快速實驗的團隊來說，門檻相對沒那麼高。

論文證明了什麼

摘要公開的結果主要集中在長視覺上下文的檢索表現。最醒目的數字，是 ReToken 在 Visual Haystacks 上讓 Qwen3VL-8B 提升 13.4 分，讓 InternVL3.5 提升 12.4 分。摘要也說，這相當於超過 20% 的相對提升。

這代表它不是只在單一模型上有效。至少從摘要看，這個單 token 檢索思路能跨到不同 backbone，且都能拉出明顯增益。對研究來說，這通常比只在一個模型上刷高分更有說服力。

它也提到 zero-shot 轉移到長影片的 LVBench。以 Qwen3VL-8B 來看，ReToken 帶來 8.0 分提升。這個結果的意義在於，它不只是在某個圖像問答設定裡有用，還能在不同型態的長上下文視覺任務上發揮作用，而且不需要額外針對該任務再訓練。

另外，摘要還說訓練和長影片推理都能放在單一 H100 上跑。這對實作端很現實。很多研究方法不是不能做，而是資源成本太高，最後很難真的進 pipeline。能在單卡 H100 上完成，至少表示它有一定的部署可行性。

但也要注意，摘要沒有公開完整 benchmark 細節。它沒有把所有指標、延遲、記憶體占用或完整對照表一次攤開，所以目前還不能精準比較它和所有 retrieval、compression baseline 的差距。

對開發者有什麼影響

如果你在做多模態搜尋、視覺問答，或影片助理，這篇的重點不只是準確率，而是系統怎麼在長輸入下維持可用。ReToken 有意思的地方在於，它不是靠大改架構來解題，而是用一個很小的學習元件，把模型注意力拉回到真正相關的視覺證據。

這讓它很像一個可插拔的系統技巧。對已經有 vision-language stack 的團隊來說，若真的能把 retrieval token 接到既有 KV cache 上，理論上比重新設計整個多模態架構更容易試，也更符合記憶體受限的部署情境。

它也提醒一件事：在多模態系統裡，retrieval 正變得跟純文字 LLM 一樣重要。當上下文太長時，模型不能只靠「把全部看進去」來解決問題，還得有辦法先把證據找出來。

限制與還沒回答的問題

這篇摘要給了很強的 headline result，但還不足以回答所有實作問題。像是訓練細節、檢索門檻怎麼設、檢索步驟本身要多少成本、對不同類型干擾物的敏感度，摘要都沒有交代。

我們也還不知道它在更廣泛的模型家族上是否同樣穩定。摘要只提到兩個模型：Qwen3VL-8B 和 InternVL3.5。這表示目前能確認的是這兩個 backbone 上有效，但不能直接推論到所有 vision-language model。

同樣地，摘要也沒有告訴我們它在更長的上下文、更多幀數、或更複雜的場景下會不會開始退化。對工程團隊來說，這些都是落地時一定會碰到的問題。

不過方向已經很清楚了。當長視覺上下文成為瓶頸時，一個小型可學習檢索 token，可能比一整套重型壓縮或重建方案更實際。對想把多模態產品做得又準又省資源的人來說，這種思路值得先做原型。

• ReToken 用單一可學習 token 從視覺 KV cache 檢索相關 token。
• 摘要公開了 Visual Haystacks 與 LVBench 的提升，顯示它可跨圖像與影片長上下文任務。
• 摘要沒有完整 benchmark 表與延遲/記憶體細節，仍需更多實驗資料判斷落地成本。