[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-retoken-one-token-visual-retrieval-zh":3,"article-related-retoken-one-token-visual-retrieval-zh":29,"series-research-d0e6aae8-7bf9-42bc-a8ff-16bfd8e32c9f":76},{"id":4,"slug":5,"title":6,"content":7,"summary":8,"source":9,"source_url":10,"author":11,"image_url":12,"cover_image":12,"category":13,"language":14,"translated_content":11,"related_article_id":15,"keywords":16,"key_takeaways":22,"views":26,"created_at":27,"published_at":28,"topic_cluster_id":11},"d0e6aae8-7bf9-42bc-a8ff-16bfd8e32c9f","retoken-one-token-visual-retrieval-zh","ReToken：一個 token 抓回視覺脈絡","\u003Cp data-speakable=\"summary\">13.4 分是 ReToken 在 Visual Haystacks 上帶給 Qwen3VL-8B 的提升。\u003C\u002Fp>\u003Cul>\u003Cli>\u003Cstrong>研究機構\u003C\u002Fstrong>：arXiv 摘要未明確標註\u003C\u002Fli>\u003Cli>\u003Cstrong>核心數據\u003C\u002Fstrong>：Visual Haystacks 提升 13.4 分\u003C\u002Fli>\u003Cli>\u003Cstrong>突破點\u003C\u002Fstrong>：單一可學習檢索 token\u003C\u002Fli>\u003C\u002Ful>\u003Cp>\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2607.28627\">ReToken: One Token to Improve Vision-Language Models for Visual Retrieval\u003C\u002Fa> 想解的問題很直接：當視覺上下文越拉越長，模型會開始漏掉關鍵細節；但如果把所有視覺 token 全塞進去，GPU 記憶體又很快爆掉。這篇論文的做法不是重做一個新架構，而是加上一個很小的檢索機制，讓模型先把相關視覺證據抓回來，再做推理。\u003C\u002Fp>\u003Cp>這種設計對做圖像助理、影片助理、長文檔視覺問答的人很有感。因為真正難的地方，往往不是模型看不懂，而是它在一堆干擾資訊裡找不到該看的那一小段。ReToken 的目標，就是把這個「找」的步驟變得更便宜、更集中。\u003C\u002Fp>\u003Ch2>它在解什麼痛點\u003C\u002Fh2>\u003Cp>多模態模型在短輸入時通常還算穩，但一旦場景變得擁擠、畫面變長、或影片時間軸拉高，效能就容易掉。原因不難理解：視覺 \u003Ca href=\"\u002Ftag\u002Ftoken\">token\u003C\u002Fa> 越多，干擾越多，模型越容易把注意力分散到不相關的地方。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785479571709-eug9.png\" alt=\"ReToken：一個 token 抓回視覺脈絡\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>另一個現實限制是\u003Ca href=\"\u002Fnews\u002Ffruitfly-inspired-regression-without-heavy-models-zh\">算力\u003C\u002Fa>。不是所有 token 都能無限制地丟進模型。\u003Ca href=\"\u002Fnews\u002Fanthropic-open-model-fight-lonely-ai-stance-zh\">對開\u003C\u002Fa>發者來說，這會變成很熟悉的取捨：要保留更多上下文，就得付出更多記憶體和計算；要省資源，就可能把答案需要的關鍵畫面一起裁掉。\u003C\u002Fp>\u003Cp>ReToken 的想法就是把這個取捨往前推一步。不是讓模型看全部，而是先從預先填好的視覺 \u003Ca href=\"\u002Ftag\u002Fkv-cache\">KV cache\u003C\u002Fa> 裡，抓出和當前問題最相關的 token，再讓後續推理集中在這些證據上。\u003C\u002Fp>\u003Ch2>方法怎麼運作\u003C\u002Fh2>\u003Cp>論文把 ReToken 描述成一個單一的可學習 embedding。白話一點，它像是一個小型的查詢向量，專門負責去視覺 KV cache 裡撈回有用的內容。\u003C\u002Fp>\u003Cp>這個設計的核心是稀疏性。它不是讓模型對所有視覺 token 做全面注意力，而是只挑出一小組和問題相關的 token。這樣做的好處很明顯：推理時更輕量，模型看到的上下文也更聚焦。\u003C\u002Fp>\u003Cp>從工程角度看，這種方法的吸引力在於它很薄。它不是一整套重型 retriever，也不是重新發明一個多模態架構，而是把一個可\u003Ca href=\"\u002Fnews\u002Fanthropic-buy-books-scan-destroy-training-zh\">訓練\u003C\u002Fa>的小元件接到既有 vision-language model 上，讓原本的模型更會找資料。\u003C\u002Fp>\u003Cp>摘要還提到，這個機制只用一個小型 image-QA 資料集來訓練。這點很重要，因為它暗示這個檢索能力不一定要靠超大規模額外監督才學得起來。對想快速實驗的團隊來說，門檻相對沒那麼高。\u003C\u002Fp>\u003Ch2>論文證明了什麼\u003C\u002Fh2>\u003Cp>摘要公開的結果主要集中在長視覺上下文的檢索表現。最醒目的數字，是 ReToken 在 Visual Haystacks 上讓 Qwen3VL-8B 提升 13.4 分，讓 InternVL3.5 提升 12.4 分。摘要也說，這相當於超過 20% 的相對提升。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785479569217-9hot.png\" alt=\"ReToken：一個 token 抓回視覺脈絡\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>這代表它不是只在單一模型上有效。至少從摘要看，這個單 token 檢索思路能跨到不同 backbone，且都能拉出明顯增益。對研究來說，這通常比只在一個模型上刷高分更有說服力。\u003C\u002Fp>\u003Cp>它也提到 zero-shot 轉移到長影片的 LVBench。以 Qwen3VL-8B 來看，ReToken 帶來 8.0 分提升。這個結果的意義在於，它不只是在某個圖像問答設定裡有用，還能在不同型態的\u003Ca href=\"\u002Ftag\u002F長上下文\">長上下文\u003C\u002Fa>視覺任務上發揮作用，而且不需要額外針對該任務再訓練。\u003C\u002Fp>\u003Cp>另外，摘要還說訓練和長影片推理都能放在單一 H100 上跑。這對實作端很現實。很多研究方法不是不能做，而是資源成本太高，最後很難真的進 pipeline。能在單卡 H100 上完成，至少表示它有一定的部署可行性。\u003C\u002Fp>\u003Cp>但也要注意，摘要沒有公開完整 \u003Ca href=\"\u002Ftag\u002Fbenchmark\">benchmark\u003C\u002Fa> 細節。它沒有把所有指標、延遲、記憶體占用或完整對照表一次攤開，所以目前還不能精準比較它和所有 retrieval、compression baseline 的差距。\u003C\u002Fp>\u003Ch2>對開發者有什麼影響\u003C\u002Fh2>\u003Cp>如果你在做多模態搜尋、視覺問答，或影片助理，這篇的重點不只是準確率，而是系統怎麼在長輸入下維持可用。ReToken 有意思的地方在於，它不是靠大改架構來解題，而是用一個很小的學習元件，把模型注意力拉回到真正相關的視覺證據。\u003C\u002Fp>\u003Cp>這讓它很像一個可插拔的系統技巧。對已經有 vision-language stack 的團隊來說，若真的能把 retrieval token 接到既有 KV cache 上，理論上比重新設計整個多模態架構更容易試，也更符合記憶體受限的部署情境。\u003C\u002Fp>\u003Cp>它也提醒一件事：在多模態系統裡，retrieval 正變得跟純文字 \u003Ca href=\"\u002Ftag\u002Fllm\">LLM\u003C\u002Fa> 一樣重要。當上下文太長時，模型不能只靠「把全部看進去」來解決問題，還得有辦法先把證據找出來。\u003C\u002Fp>\u003Ch2>限制與還沒回答的問題\u003C\u002Fh2>\u003Cp>這篇摘要給了很強的 headline result，但還不足以回答所有實作問題。像是訓練細節、檢索門檻怎麼設、檢索步驟本身要多少成本、對不同類型干擾物的敏感度，摘要都沒有交代。\u003C\u002Fp>\u003Cp>我們也還不知道它在更廣泛的模型家族上是否同樣穩定。摘要只提到兩個模型：Qwen3VL-8B 和 InternVL3.5。這表示目前能確認的是這兩個 backbone 上有效，但不能直接推論到所有 vision-language model。\u003C\u002Fp>\u003Cp>同樣地，摘要也沒有告訴我們它在更長的上下文、更多幀數、或更複雜的場景下會不會開始退化。對工程團隊來說，這些都是落地時一定會碰到的問題。\u003C\u002Fp>\u003Cp>不過方向已經很清楚了。當長視覺上下文成為瓶頸時，一個小型可學習檢索 token，可能比一整套重型壓縮或重建方案更實際。對想把多模態產品做得又準又省資源的人來說，這種思路值得先做原型。\u003C\u002Fp>\u003Cul>\u003Cli>ReToken 用單一可學習 token 從視覺 KV cache 檢索相關 token。\u003C\u002Fli>\u003Cli>摘要公開了 Visual Haystacks 與 LVBench 的提升，顯示它可跨圖像與影片長上下文任務。\u003C\u002Fli>\u003Cli>摘要沒有完整 benchmark 表與延遲\u002F記憶體細節，仍需更多實驗資料判斷落地成本。\u003C\u002Fli>\u003C\u002Ful>","ReToken 用一個可學習 token 從視覺 KV cache 抓回相關內容，讓長上下文視覺問答更準，也更省記憶體。","arxiv.org","https:\u002F\u002Farxiv.org\u002Fabs\u002F2607.28627",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785479571709-eug9.png","research","zh","2844c399-e2ad-4cf0-b888-fd480d6d56ed",[17,18,19,20,21],"vision-language model","visual retrieval","KV cache","long-context","multi-modal retrieval",[23,24,25],"單一可學習 token 就能做視覺檢索","在長視覺上下文任務上有明顯提升","摘要未公開完整 benchmark 與成本細節",0,"2026-07-31T06:32:24.178463+00:00","2026-07-31T06:32:24.168+00:00",{"tags":30,"relatedLang":35,"relatedPosts":39},[31,33],{"name":19,"slug":32},"kv-cache",{"name":34,"slug":20},"long context",{"id":15,"slug":36,"title":37,"language":38},"retoken-one-token-visual-retrieval-en","ReToken uses one learned token to fetch visual context","en",[40,46,52,58,64,70],{"id":41,"slug":42,"title":43,"cover_image":44,"image_url":44,"created_at":45,"category":13},"27ea61f5-fd76-4df9-a9d0-05f049ca9a66","pac-man-humanoid-dodgeball-safety-zh","PAC-MAN 讓人形機器人閃球更安全","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785481375867-2a5a.png","2026-07-31T07:02:32.393678+00:00",{"id":47,"slug":48,"title":49,"cover_image":50,"image_url":50,"created_at":51,"category":13},"274e17d7-3802-4c6d-acfb-b09f4d6e924d","ml-trace-seiberg-dualities-zh","ML 幫忙追 Seiberg 對偶","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785477769825-coi8.png","2026-07-31T06:02:28.09076+00:00",{"id":53,"slug":54,"title":55,"cover_image":56,"image_url":56,"created_at":57,"category":13},"59958bf8-ca7f-4d66-a170-e54eaa4c1b77","fruitfly-inspired-regression-without-heavy-models-zh","果蠅啟發回歸：用模式匹配省算力","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785394980008-nvqp.png","2026-07-30T07:02:27.028832+00:00",{"id":59,"slug":60,"title":61,"cover_image":62,"image_url":62,"created_at":63,"category":13},"f3cf3f4d-31fc-4666-8132-57c69ed66f4d","mental-world-modeling-simulating-minds-zh","世界模型不只看場景，也要看心智","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785393187520-8rd3.png","2026-07-30T06:32:29.057837+00:00",{"id":65,"slug":66,"title":67,"cover_image":68,"image_url":68,"created_at":69,"category":13},"08ceac3e-dd49-42e7-b976-e962eae021ca","pretrain-q-functions-online-rl-finetuning-zh","Q 函數不一定要先預訓練","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785391369404-txyj.png","2026-07-30T06:02:23.775888+00:00",{"id":71,"slug":72,"title":73,"cover_image":74,"image_url":74,"created_at":75,"category":13},"c8c4d82d-7dd9-46e7-98a0-f6f2c6b86c1e","openai-agent-hack-forces-tighter-eval-controls-zh","OpenAI 事件逼你收緊 eval","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785326587078-rzpe.png","2026-07-29T12:02:45.792562+00:00",[77,82,87,92,97,102,107,112,117,122],{"id":78,"slug":79,"title":80,"created_at":81},"f18dbadb-8c59-4723-84a4-6ad22746c77a","deepmind-bets-on-continuous-learning-ai-2026-zh","DeepMind 押注 2026 連續學習 AI","2026-03-26T08:16:02.367355+00:00",{"id":83,"slug":84,"title":85,"created_at":86},"f4a106cb-02a6-4508-8f39-9720a0a93cee","ml-papers-of-the-week-github-research-desk-zh","每週 ML 論文清單，為何紅到 GitHub","2026-03-27T01:11:39.284175+00:00",{"id":88,"slug":89,"title":90,"created_at":91},"c4f807ca-4e5f-47f1-a48c-961cf3fc44dc","ai-ml-conferences-to-watch-in-2026-zh","2026 AI 研討會投稿時程整理","2026-03-27T01:51:53.874432+00:00",{"id":93,"slug":94,"title":95,"created_at":96},"cf046742-efb2-4753-aef9-caed5da5e32e","adaptive-block-scaled-data-types-zh","IF4：神經網路量化的聰明選擇","2026-03-31T06:00:36.990273+00:00",{"id":98,"slug":99,"title":100,"created_at":101},"53a0dc54-0371-4e40-8d5e-74e94a73840c","geometry-aware-similarity-metrics-for-neural-representations-zh","超越距離測量：用微分幾何重新理解神經網路","2026-03-31T06:01:01.241968+00:00",{"id":103,"slug":104,"title":105,"created_at":106},"fee7d472-a775-4b1d-bbc2-1e8bca1bbf8b","on-the-fly-repulsion-in-the-contextual-space-for-rich-divers-zh","讓AI繪圖更有創意：用排斥力提升生成多樣性","2026-03-31T06:01:25.439673+00:00",{"id":108,"slug":109,"title":110,"created_at":111},"a9901203-d69b-447b-8854-15d14eab32b4","vision-aided-beam-prediction-cnn-eca-zh","影像輔助波束預測升級 CNN","2026-04-01T10:00:25.8073+00:00",{"id":113,"slug":114,"title":115,"created_at":116},"b55e7dd4-0a24-4b3d-804d-b0309a03f498","triple-band-fss-mimo-antenna-sub-6-ghz-zh","三頻 FSS MIMO 天線瞄準 sub-6 GHz","2026-04-01T13:18:36.857305+00:00",{"id":118,"slug":119,"title":120,"created_at":121},"f68290bd-e7f3-4b30-ba22-dcd4e0130a66","openclaw-1299-repos-eight-weeks-analysis-zh","OpenClaw 1299 個 Repo 的資料解讀","2026-04-02T05:03:45.208411+00:00",{"id":123,"slug":124,"title":125,"created_at":126},"ed9f80eb-eb02-4d35-8ad4-0ddf428751dd","beam-coherence-aware-combining-mmwave-mimo-zh","毫米波 MIMO 的雙階合併法","2026-04-02T05:27:26.897188+00:00"]