[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-toktier-stateful-tokenization-agentic-llm-serving-zh":3,"article-related-toktier-stateful-tokenization-agentic-llm-serving-zh":29,"series-research-09f65a63-1e3d-461e-8a61-e03207bc5c8f":77},{"id":4,"slug":5,"title":6,"content":7,"summary":8,"source":9,"source_url":10,"author":11,"image_url":12,"cover_image":12,"category":13,"language":14,"translated_content":11,"related_article_id":15,"keywords":16,"key_takeaways":22,"views":26,"created_at":27,"published_at":28,"topic_cluster_id":11},"09f65a63-1e3d-461e-8a61-e03207bc5c8f","toktier-stateful-tokenization-agentic-llm-serving-zh","TokTier 省掉代理式 LLM 分詞開銷","\u003Cp data-speakable=\"summary\">TokTier 讓代理式 LLM 在維持分詞完全一致的前提下，避免每次呼叫都重做整段 tokenization。\u003C\u002Fp>\u003Cul>\u003Cli>\u003Cstrong>研究機構\u003C\u002Fstrong>：arXiv 摘要未明確標註\u003C\u002Fli>\u003Cli>\u003Cstrong>核心數據\u003C\u002Fstrong>：tokenization 最多占首 token 時間 64%\u003C\u002Fli>\u003Cli>\u003Cstrong>突破點\u003C\u002Fstrong>：狀態式分詞修復\u003C\u002Fli>\u003C\u002Ful>\u003Cp>代理式 LLM 的瓶頸，常常不在模型本身，而是在前處理。TokTier 這篇工作想解的，就是「每次工具呼叫都把整段文字重新分詞一次」這種隱性浪費。它主打的不是改變模型行為，而是把既有 tokenizer 的工作變少，同時保證輸出的 \u003Ca href=\"\u002Ftag\u002Ftoken\">token\u003C\u002Fa> ID 跟完整重算完全一致。\u003C\u002Fp>\u003Cp>這點對做 coding \u003Ca href=\"\u002Ftag\u002Fagent\">agent\u003C\u002Fa>、長對話工作流、或反覆追加上下文的服務特別重要。因為這類系統每次送進來的內容，通常不是全新 prompt，而是在舊 transcript 後面再接一小段。只要能把這種「小追加」做成狀態式，而且不犧牲 exactness，就有機會直接砍掉一大塊延遲。\u003C\u002Fp>\u003Ch2>這篇在解什麼痛點\u003C\u002Fh2>\u003Cp>LLM serving 的快取，很多人第一時間想到的是 \u003Ca href=\"\u002Ftag\u002Fkv-cache\">KV cache\u003C\u002Fa>。但這篇指出，前端的 tokenization 也可能變成大成本。問題在於，服務端即使已經保留了 prompt 的 KV 狀態，前面那層還是常常把整段 request text 重新跑一次 tokenizer。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785736981865-pjj3.png\" alt=\"TokTier 省掉代理式 LLM 分詞開銷\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>在一般聊天裡，這種重算也許還能忍。但在 agentic workflow 裡，情況會放大很多。因為同一段對話歷史會被一再送回來，只差最後一小段工具結果或補充文字。這種模式下，重做整段分詞就像每次只改一行程式，卻把整個檔案重新編譯一次。\u003C\u002Fp>\u003Cp>作者用兩個 agent 生態系統的 153,951 次呼叫來描述這個工作負載。中位數每次只會追加約 1.4K 字元，而且只有 1.0–3.6% 的呼叫是重新建立 session，或是從頭重建超長上下文。這代表常態不是「新 prompt」，而是「長狀態上的小幅追加」。\u003C\u002Fp>\u003Cp>在 94.1% 的 fleet prompt-cache hit rate 下，tokenization 仍然可以吃掉高達 64% 的 time to first token。這就是 TokTier 要處理的核心問題：當模型端快取已經有效，前處理反而成了延遲主因。\u003C\u002Fp>\u003Ch2>TokTier 怎麼做\u003C\u002Fh2>\u003Cp>TokTier 的核心想法很直接：把 tokenization 變成有狀態的服務，但輸出的 token IDs 必須和完整 reference tokenization 一模一樣。它不是做近似分詞，也不是發明新格式，而是想在不改變結果的前提下，少做工作。\u003C\u002Fp>\u003Cp>在 session continuation 的情境下，TokTier 不會把整段 transcript 重跑。它只會針對追加內容附近的一小段重新分詞，再搭配 per-request 的 stable-boundary 檢查來決定能不能\u003Ca href=\"\u002Fnews\u002Ftry-claude-opus-4-7-benchmarks-safety-zh\">安全\u003C\u002Fa>拼接。如果邊界不安全，就把窗口加大；如果還是不行，就直接退回完整 tokenization。也就是先走最便宜、但仍然 exact 的路徑，再視情況擴大。\u003C\u002Fp>\u003Cp>對沒有可重用 prefix 的請求，TokTier 走另一條路。它把 GPT 家族的 regex pre-tokenization 拆成 run-local 規則，然後在 GPU 上做 exact pre-tokenization 與 BPE。這讓它即使不能靠 session state，也還是有一條加速路徑。\u003C\u002Fp>\u003Cp>另外，系統還加了 sampled shadow verifier，會抽樣檢查線上流量。這是很實際的工程設計：不只追求吞吐，也要持續確認快路徑真的和完整 tokenization 對得上。\u003C\u002Fp>\u003Ch2>它實際證明了什麼\u003C\u002Fh2>\u003Cp>這篇的評估範圍不小。作者對 17 種 tokenizer family 做 differential campaigns，涵蓋 1.5×10^10 次 split checks、12.4 TB 真實文字語料，以及超過 93,000 個 replayed agent steps，結果是 zero divergence。這是最重要的正確性訊號：在測過的情境裡，TokTier 沒有偏掉。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785736975612-ra57.png\" alt=\"TokTier 省掉代理式 LLM 分詞開銷\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>速度方面，incremental repair 在 100K 到 3M 字元之間只要 0.5–1.1 ms。論文說這比 Hugging Face tokenization 快到 437 倍，且在 1M 字元時，比最強的 cache-based baseline Gigatoken 在 fully prewarmed 的條件下還快 2.1 倍。這些數字在講同一件事：真正賺到的是「小追加」那條路。\u003C\u002Fp>\u003Cp>如果是沒有可重用 prefix 的完整 tokenization，GPU 路徑可以在 0.87 ms 內編碼 1M 字元。作者報告這比 Hugging Face 快到 491 倍，也比已發表最快的 CPU 方法快 23.4 倍。這篇摘要是有公開 \u003Ca href=\"\u002Ftag\u002Fbenchmark\">benchmark\u003C\u002Fa> 數字的，而且這些數字正是它主張的核心。\u003C\u002Fp>\u003Cp>放到 vLLM 這種服務框架裡，結果也不只是 microbenchmark。作者說 median time to first token 降了 16–34%，P99 在 recorded bursts 下下降 23%。如果用 50 ms 的 P99 目標來看，4 個 repair cores 加 1 張 GPU 可以撐到 1,821 requests\u002Fs；相對地，16-core 的 stateless front end 會在 40 requests\u002Fs 就飽和。這表示 TokTier 不是只在實驗室快，而是真的可能改變 serving \u003Ca href=\"\u002Fnews\u002Fclaude-2026-limit-changes-capacity-story-zh\">容量\u003C\u002Fa>。\u003C\u002Fp>\u003Ch2>對開發者代表什麼\u003C\u002Fh2>\u003Cp>如果你在做 agent infra，這篇最值得記住的一句話是：tokenization 會變成第一級延遲問題。尤其是 coding agent、工具型助手、或任何長生命週期 workflow engine，只要它一直重送很像的上下文，就很容易在分詞上付出重複成本。\u003C\u002Fp>\u003Cp>TokTier 的價值在於，它守住了 serving 團隊最不能妥協的事：exactness。工程上可以把它理解成一個有狀態的前端，保證 token ID 跟完整 tokenizer 一樣，但靠 repair window、fallback 邏輯與 GPU 加速，把常態路徑的工作量壓下來。\u003C\u002Fp>\u003Cp>不過，這篇也還留了一些實作上的空白。摘要雖然給了很強的效能與正確性結果，但沒有展開說明整體整合成本、部署複雜度，或在 production 裡到底多常會退回 full tokenization。它也沒有宣稱所有 tokenizer family 都一樣容易加速，只是報告了 17 種 family 的覆蓋與\u003Ca href=\"\u002Fnews\u002Fkimi-k3-report-test-time-scaling-4-directions-zh\">測試\u003C\u002Fa>中的 exactness。\u003C\u002Fp>\u003Ch2>限制與還沒回答的問題\u003C\u002Fh2>\u003Cp>最值得追的問題，是 TokTier 的收益到底有多少來自 agentic workload 本身，而不是 tokenizer 的結構。論文已經說明，在它觀察到的生態系統裡，小追加很常見，但不同產品的 transcript 形狀、cache hit rate、session 壽命，可能差很多。\u003C\u002Fp>\u003Cp>另一個問題是，stable-boundary repair 在真實流量下會不會常常需要擴窗。作者用 shadow verifier 和大規模 differential testing 來保證 correctness，這很讓人安心。但對 production 團隊來說，真正的 trade-off 仍然是：有多少請求會走到 fallback，以及這會怎麼影響 tail latency。\u003C\u002Fp>\u003Cp>即使有這些限制，這篇還是把一件事講得很清楚：tokenization 不再只是前處理細節。在 agent serving 裡，它可能就是主要延遲來源之一，而 TokTier 提供了一條不放棄 exactness、卻能實際減少成本的路。\u003C\u002Fp>\u003Cp>對\u003Ca href=\"\u002Ftag\u002F台灣開發者\">台灣開發者\u003C\u002Fa>來說，這也提醒了一個常被忽略的方向：當模型推理已經優化得差不多，真正卡住產品體驗的，可能是更前面的那一層資料處理。尤其是做長上下文、工具呼叫密集、或多輪重送 request 的系統，這類優化很可能比再換一個更大的模型更有感。\u003C\u002Fp>\u003Cp>換句話說，TokTier 不是在重新定義 LLM，而是在修 serving stack 裡一個很實際、很容易被低估的洞。它證明了：只要工作負載夠像 agent，tokenization 就值得被當成核心效能問題來處理。\u003C\u002Fp>\u003Cul>\u003Cli>TokTier 針對 agentic LLM 反覆重送長上下文的情境，降低重複分詞成本。\u003C\u002Fli>\u003Cli>它用 stable-boundary repair 和 fallback，維持 tokenization 結果完全一致。\u003C\u002Fli>\u003Cli>論文同時給出 correctness 與 latency\u002Fthroughput 的實測數字，顯示這是可部署的加速路線。\u003C\u002Fli>\u003C\u002Ful>","TokTier 讓代理式 LLM 在維持分詞完全一致的前提下，避免每次呼叫都重做整段 tokenization，降低首 token 延遲。","arxiv.org","https:\u002F\u002Farxiv.org\u002Fabs\u002F2607.29678",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785736981865-pjj3.png","research","zh","ec3d8c98-79d8-4be6-a08b-6f34972e3125",[17,18,19,20,21],"tokenization","LLM serving","agentic workflows","KV cache","BPE",[23,24,25],"TokTier 把 tokenization 做成狀態式服務，但仍保證 token ID 與完整重算一致。","在 agentic 工作負載下，tokenization 可能占到首 token 時間的 64%。","論文報告了大規模零偏差測試，並在 vLLM 場景看到明顯延遲與吞吐改善。",0,"2026-08-03T06:02:29.725458+00:00","2026-08-03T06:02:29.715+00:00",{"tags":30,"relatedLang":36,"relatedPosts":40},[31,32,34],{"name":17,"slug":17},{"name":20,"slug":33},"kv-cache",{"name":19,"slug":35},"agentic-workflows",{"id":15,"slug":37,"title":38,"language":39},"toktier-stateful-tokenization-agentic-llm-serving-en","TokTier cuts tokenization overhead for agentic LLMs","en",[41,47,53,59,65,71],{"id":42,"slug":43,"title":44,"cover_image":45,"image_url":45,"created_at":46,"category":13},"480a1f71-36fb-40c2-abef-8d1fa18dd390","private-mode-finding-regression-clustering-zh","私有模式估計逼近最優","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785740576520-rgql.png","2026-08-03T07:02:29.463583+00:00",{"id":48,"slug":49,"title":50,"cover_image":51,"image_url":51,"created_at":52,"category":13},"2dabbf39-7875-4653-91da-0b7cd9db4185","extractbench-schema-guided-document-extraction-zh","ExtractBench 盯住企業文件抽取","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785738798200-jk2q.png","2026-08-03T06:32:48.454298+00:00",{"id":54,"slug":55,"title":56,"cover_image":57,"image_url":57,"created_at":58,"category":13},"cb1ef9ed-b3cb-4c1e-8d4b-ba6cdebc0e0e","openai-hugging-face-breach-agents-hard-limits-zh","OpenAI 與 Hugging Face 事件證明：AI agents 必須…","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785654169827-uf2w.png","2026-08-02T07:02:22.957846+00:00",{"id":60,"slug":61,"title":62,"cover_image":63,"image_url":63,"created_at":64,"category":13},"be49fd87-e80c-43e5-87b9-159611e54bdc","systema-virtual-cell-evaluation-reframed-zh","Systema把虚拟细胞评估改成另一套玩法","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785632614431-hy24.png","2026-08-02T01:03:08.934034+00:00",{"id":66,"slug":67,"title":68,"cover_image":69,"image_url":69,"created_at":70,"category":13},"5063caeb-1afb-4dce-94b8-93393e17d5eb","stablecoin-remittances-hit-9-percent-bank-italy-test-zh","義大利測試：USDC 匯款最高近 9%","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785591176809-t9nq.png","2026-08-01T13:32:32.282347+00:00",{"id":72,"slug":73,"title":74,"cover_image":75,"image_url":75,"created_at":76,"category":13},"04dabd9d-7737-49e7-8c20-6993e31af5ad","stablecoins-hit-308b-as-svbs-shock-echoes-zh","穩定幣衝上3080億美元","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785585769972-mjx7.png","2026-08-01T12:02:27.954058+00:00",[78,83,88,93,98,103,108,113,118,123],{"id":79,"slug":80,"title":81,"created_at":82},"f18dbadb-8c59-4723-84a4-6ad22746c77a","deepmind-bets-on-continuous-learning-ai-2026-zh","DeepMind 押注 2026 連續學習 AI","2026-03-26T08:16:02.367355+00:00",{"id":84,"slug":85,"title":86,"created_at":87},"f4a106cb-02a6-4508-8f39-9720a0a93cee","ml-papers-of-the-week-github-research-desk-zh","每週 ML 論文清單，為何紅到 GitHub","2026-03-27T01:11:39.284175+00:00",{"id":89,"slug":90,"title":91,"created_at":92},"c4f807ca-4e5f-47f1-a48c-961cf3fc44dc","ai-ml-conferences-to-watch-in-2026-zh","2026 AI 研討會投稿時程整理","2026-03-27T01:51:53.874432+00:00",{"id":94,"slug":95,"title":96,"created_at":97},"cf046742-efb2-4753-aef9-caed5da5e32e","adaptive-block-scaled-data-types-zh","IF4：神經網路量化的聰明選擇","2026-03-31T06:00:36.990273+00:00",{"id":99,"slug":100,"title":101,"created_at":102},"53a0dc54-0371-4e40-8d5e-74e94a73840c","geometry-aware-similarity-metrics-for-neural-representations-zh","超越距離測量：用微分幾何重新理解神經網路","2026-03-31T06:01:01.241968+00:00",{"id":104,"slug":105,"title":106,"created_at":107},"fee7d472-a775-4b1d-bbc2-1e8bca1bbf8b","on-the-fly-repulsion-in-the-contextual-space-for-rich-divers-zh","讓AI繪圖更有創意：用排斥力提升生成多樣性","2026-03-31T06:01:25.439673+00:00",{"id":109,"slug":110,"title":111,"created_at":112},"a9901203-d69b-447b-8854-15d14eab32b4","vision-aided-beam-prediction-cnn-eca-zh","影像輔助波束預測升級 CNN","2026-04-01T10:00:25.8073+00:00",{"id":114,"slug":115,"title":116,"created_at":117},"b55e7dd4-0a24-4b3d-804d-b0309a03f498","triple-band-fss-mimo-antenna-sub-6-ghz-zh","三頻 FSS MIMO 天線瞄準 sub-6 GHz","2026-04-01T13:18:36.857305+00:00",{"id":119,"slug":120,"title":121,"created_at":122},"f68290bd-e7f3-4b30-ba22-dcd4e0130a66","openclaw-1299-repos-eight-weeks-analysis-zh","OpenClaw 1299 個 Repo 的資料解讀","2026-04-02T05:03:45.208411+00:00",{"id":124,"slug":125,"title":126,"created_at":127},"ed9f80eb-eb02-4d35-8ad4-0ddf428751dd","beam-coherence-aware-combining-mmwave-mimo-zh","毫米波 MIMO 的雙階合併法","2026-04-02T05:27:26.897188+00:00"]