[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-litellm-rust-minimal-ai-gateway-zh":3,"article-related-litellm-rust-minimal-ai-gateway-zh":33,"series-ai-agent-0cd44c8d-6ba8-4e6c-851b-d040a5c1a9bd":87},{"id":4,"slug":5,"title":6,"content":7,"summary":8,"source":9,"source_url":10,"author":11,"image_url":12,"cover_image":12,"category":13,"language":14,"translated_content":11,"related_article_id":15,"keywords":16,"key_takeaways":24,"views":29,"created_at":30,"published_at":31,"topic_cluster_id":32},"0cd44c8d-6ba8-4e6c-851b-d040a5c1a9bd","litellm-rust-minimal-ai-gateway-zh","LiteLLM 推出 Rust 版輕量網關","\u003Cp data-speakable=\"summary\">LiteLLM-\u003Ca href=\"\u002Fnews\u002Frust-cli-project-5-practical-steps-zh\">Rust\u003C\u002Fa> 是一個給 coding \u003Ca href=\"\u002Ftag\u002Fagent\">agent\u003C\u002Fa> 用的輕量 Rust AI gateway，保留 LiteLLM 原本設定與資料庫格式。\u003C\u002Fp>\u003Cp>LiteLLM 這次不是改大功能。它是直接換 runtime。\u003Ca href=\"https:\u002F\u002Fdocs.litellm.ai\u002Fblog\u002Flitellm-rust-launch\" target=\"_blank\" rel=\"noopener\">LiteLLM\u003C\u002Fa> 推出 \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FLiteLLM-Labs\u002Flitellm-rust\" target=\"_blank\" rel=\"noopener\">LiteLLM-Rust\u003C\u002Fa>，主打和 Python gateway 共用 \u003Ccode>config.yaml\u003C\u002Fcode> 與資料庫 schema。目標也很直接：把 coding agent 的轉發開銷壓到 1ms 以下。\u003C\u002Fp>\u003Cp>這種做法很務實。你不用重寫整套控管層。你只要換執行層。對常跑 \u003Ca href=\"https:\u002F\u002Fdocs.anthropic.com\u002Fen\u002Fdocs\u002Fclaude-code\" target=\"_blank\" rel=\"noopener\">Claude Code\u003C\u002Fa> 這類 agent 的團隊來說，這種改法比再加一堆花俏功能更有感。\u003C\u002Fp>\u003Ctable>\u003Cthead>\u003Ctr>\u003Cth>項目\u003C\u002Fth>\u003Cth>內容\u003C\u002Fth>\u003C\u002Ftr>\u003C\u002Fthead>\u003Ctbody>\u003Ctr>\u003Ctd>執行環境\u003C\u002Ftd>\u003Ctd>Rust\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd>相容性\u003C\u002Ftd>\u003Ctd>共用 config.yaml 與 Postgres schema\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd>效能目標\u003C\u002Ftd>\u003Ctd>Claude Code 呼叫開銷低於 1ms\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd>目前支援\u003C\u002Ftd>\u003Ctd>\u003Ca href=\"https:\u002F\u002Fe2b.dev\" target=\"_blank\" rel=\"noopener\">E2B\u003C\u002Fa>、\u003Ca href=\"https:\u002F\u002Fwww.daytona.io\" target=\"_blank\" rel=\"noopener\">Daytona\u003C\u002Fa>\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd>授權\u003C\u002Ftd>\u003Ctd>MIT\u003C\u002Ftd>\u003C\u002Ftr>\u003C\u002Ftbody>\u003C\u002Ftable>\u003Ch2>它到底改了什麼\u003C\u002Fh2>\u003Cp>LiteLLM-\u003Ca href=\"\u002Ftag\u002Frust\">Rust\u003C\u002Fa> 的重點不是功能爆量。重點是相容。它吃同一份 \u003Ccode>config.yaml\u003C\u002Fcode>，也用同一套 Postgres schema。這表示原本的 keys、virtual keys、teams、budgets、routing rules 和 fallbacks，大多都能照舊保留。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780899485895-xavr.png\" alt=\"LiteLLM 推出 Rust 版輕量網關\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>講白了，這對平台團隊很重要。gateway 最怕的就是你只是想換 runtime，結果 auth、routing、觀測、預算控制全都要重做。那不是升級，那是搬家。LiteLLM 想把這件事變得像換容器一樣單純。\u003C\u002Fp>\u003Cp>它還把啟動方式做得很像原本 Python 版本。像是 \u003Ccode>litellm-rust --config \u002Fetc\u002Flitellm\u002Fconfig.yaml --\u003Ca href=\"\u002Fnews\u002Fportsmouth-ai-buildout-energy-infrastructure-zh\">port\u003C\u002Fa> 4000\u003C\u002Fcode> 這種指令，就很像真的要進 production，而不是只給 demo 看。\u003C\u002Fp>\u003Cul>\u003Cli>共用 \u003Ccode>config.yaml\u003C\u002Fcode>\u003C\u002Fli>\u003Cli>共用 Postgres schema\u003C\u002Fli>\u003Cli>沿用 client SDK 與管理流程\u003C\u002Fli>\u003Cli>保留 routing 與 budget 這些核心能力\u003C\u002Fli>\u003C\u002Ful>\u003Cp>這種設計很像在說一件事：先別談新功能，先把切換成本壓低。對開發者來說，這通常比口號有用多了。\u003C\u002Fp>\u003Ch2>為什麼 1ms 很在意\u003C\u002Fh2>\u003Cp>這次鎖定的對象很明確，就是會一直打 \u003Ca href=\"\u002Ftag\u002Fapi\">API\u003C\u002Fa> 的 coding agent。像 \u003Ca href=\"https:\u002F\u002Fdocs.anthropic.com\u002Fen\u002Fdocs\u002Fclaude-code\" target=\"_blank\" rel=\"noopener\">Claude Code\u003C\u002Fa> 這類工具，常常在一個任務裡發出很多次模型呼叫。每次多個幾毫秒，累積起來就很煩。\u003C\u002Fp>\u003Cp>LiteLLM 說 Rust 版想把 request forwarding 的熱路徑壓到 sub-millisecond。這不是什麼華麗指標，但很實際。因為 agent 工作流裡，延遲不是單次成本，而是整段流程的乘數。\u003C\u002Fp>\u003Cblockquote>\u003Cp>“Do one thing, and do it well” — Doug McIlroy\u003C\u002Fp>\u003C\u002Fblockquote>\u003Cp>這句話放在這裡很剛好。LiteLLM-Rust 沒打算現在就取代完整 Python gateway。它先做一件事：把轉發層做薄。對 agent 工作負載來說，這比再塞一堆 dashboard 功能更合理。\u003C\u002Fp>\u003Cul>\u003Cli>目標：每次 Claude Code 呼叫低於 1ms\u003C\u002Fli>\u003Cli>Python gateway 被描述為毫秒級開銷\u003C\u002Fli>\u003Cli>agent 任務可能有數十次工具呼叫\u003C\u002Fli>\u003Cli>每次少一點延遲，整體體感差很多\u003C\u002Fli>\u003C\u002Ful>\u003Cp>如果這個數字真的能在真實負載下守住，開發者會先感受到等待時間變短。這種改善很土，但很有感。\u003C\u002Fp>\u003Ch2>現在能用什麼，還缺什麼\u003C\u002Fh2>\u003Cp>目前 LiteLLM-Rust 已經支援 \u003Ca href=\"https:\u002F\u002Fe2b.dev\" target=\"_blank\" rel=\"noopener\">E2B\u003C\u002Fa> 和 \u003Ca href=\"https:\u002F\u002Fwww.daytona.io\" target=\"_blank\" rel=\"noopener\">Daytona\u003C\u002Fa> 的 sandboxing。它也支援用 cron、webhook 或 API trigger 來排程 \u003Ca href=\"\u002Ftag\u002Fclaude-code\">Claude Code\u003C\u002Fa> 執行。換句話說，它已經不只是 proxy，還開始碰 agent 執行協調。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780899482286-djg7.png\" alt=\"LiteLLM 推出 Rust 版輕量網關\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>但它還很早期。LiteLLM 列出的 roadmap 也很清楚，像 durable sessions、memory、artifacts 和 vault 都還在後面。這些東西才是把一次性 agent \u003Ca href=\"\u002Fnews\u002Fciti-tokenization-forecast-turns-markets-onchain-zh\">變成\u003C\u002Fa>長流程的關鍵。\u003C\u002Fp>\u003Cp>如果你有做過 agent 專案，就知道 state 才是麻煩本體。模型呼叫本身不難。難的是上下文、權限、輸出保存、重試與恢復。這也是為什麼 gateway 不能只會轉請求。\u003C\u002Fp>\u003Cul>\u003Cli>目前可用：E2B sandboxing\u003C\u002Fli>\u003Cli>目前可用：Daytona sandboxing\u003C\u002Fli>\u003Cli>目前可用：cron、webhook、API trigger\u003C\u002Fli>\u003Cli>規劃中：durable sessions、memory、artifacts、vault\u003C\u002Fli>\u003C\u002Ful>\u003Cp>這個方向很符合現在的 agent 趨勢。大家不再只做聊天介面。大家在做可執行的工作流。誰能把這層管好，誰就比較接近真正的基礎設施。\u003C\u002Fp>\u003Ch2>它跟 Python 版怎麼分工\u003C\u002Fh2>\u003Cp>LiteLLM 的態度很保守，也很合理。Python gateway 還是官方主力。它是 production-grade，也還是企業部署的推薦選項。若你需要 SSO、SCIM、air-gapped 部署、24\u002F7 SLA 和更完整的 guardrails，LiteLLM 也把 \u003Ca href=\"https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Fenterprise\" target=\"_blank\" rel=\"noopener\">LiteLLM Enterprise\u003C\u002Fa> 放在那裡。\u003C\u002Fp>\u003Cp>這種切法不奇怪。Rust repo 是獨立專案。它比較像實驗線。先測 agent-first 的 runtime 設計，再把學到的東西帶回主產品。這樣做比硬把所有需求塞進同一個 runtime 穩得多。\u003C\u002Fp>\u003Cp>對團隊來說，選擇也很清楚。你要成熟與完整，就留在 Python。你要測低延遲與簡化執行路徑，就看 Rust。兩條線都合理，問題只在你現在要哪一種。\u003C\u002Fp>\u003Cul>\u003Cli>\u003Cstrong>Python LiteLLM\u003C\u002Fstrong>：功能完整，偏企業部署\u003C\u002Fli>\u003Cli>\u003Cstrong>LiteLLM-Rust\u003C\u002Fstrong>：輕量，偏 agent 轉發\u003C\u002Fli>\u003Cli>\u003Cstrong>Enterprise\u003C\u002Fstrong>：SSO、SCIM、SLA、air-gapped\u003C\u002Fli>\u003Cli>\u003Cstrong>Rust repo\u003C\u002Fstrong>：MIT 授權，適合試驗\u003C\u002Fli>\u003C\u002Ful>\u003Cp>我覺得這種分工比硬推單一方案聰明。因為 \u003Ca href=\"\u002Ftag\u002Fai-\">AI 基礎設施\u003C\u002Fa>本來就不是一種工作負載。有人要穩，有人要快，有人兩個都要。\u003C\u002Fp>\u003Ch2>產業脈絡其實很清楚\u003C\u002Fh2>\u003Cp>AI infra 最近的變化，不是在模型本身，而是在周邊層。gateway、router、sandbox、memory、artifact，這些東西越來越重要。因為真正上線的不是聊天機器人，而是會動手做事的 agent。\u003C\u002Fp>\u003Cp>這也解釋了為什麼 Rust 會一直被拿來做基礎設施。它不是萬靈丹，但在高併發、低延遲、少記憶體的場景，確實很合適。尤其是轉發層，很多時候就是該越薄越好。\u003C\u002Fp>\u003Cp>接下來要看的，不是 LiteLLM-Rust 會不會變成全能平台。那很可能不是它的目標。要看的，是有多少團隊願意為了省掉每次呼叫的幾毫秒，去換一個更簡單的執行層。\u003C\u002Fp>\u003Cp>如果你現在就在跑 coding agents，我會先問一件事：你卡的是模型品質，還是基礎設施延遲？很多團隊其實兩邊都卡，只是平常先罵 prompt，沒空看網路層。\u003C\u002Fp>\u003Ch2>接下來該看什麼\u003C\u002Fh2>\u003Cp>LiteLLM-Rust 最值得觀察的，不是 demo 跑得多順，而是能不能無痛接進既有環境。只要 config 與 schema 真能沿用，遷移成本就會低很多。\u003C\u002Fp>\u003Cp>真正的測試會在負載下發生。等它遇到更多 agent、更多工具呼叫、更多重試，1ms 這個目標才會知道是不是只是口號。若你有在做類似架構，現在就值得拿來比對一次。\u003C\u002Fp>\u003Cp>我的建議很直接：先挑一條非核心 agent 流程試跑，再看延遲與穩定性。別一開始就全站切換。這種東西，先驗證路徑，再談擴大部署，會比較不容易踩雷。\u003C\u002Fp>","LiteLLM-Rust 是一個用 Rust 寫的輕量 AI gateway，保留原本 config.yaml 與資料庫結構，目標是把 coding agent 的轉發延遲壓到 1ms 內。","docs.litellm.ai","https:\u002F\u002Fdocs.litellm.ai\u002Fblog\u002Flitellm-rust-launch",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780899485895-xavr.png","ai-agent","zh","9cfe6784-bd41-452f-979b-8b4b763239a8",[17,18,19,20,21,22,23],"LiteLLM","LiteLLM-Rust","Rust gateway","AI gateway","coding agent","Claude Code","AI infra",[25,26,27,28],"LiteLLM-Rust 用 Rust 重寫 gateway，但保留原本 config.yaml 與資料庫 schema。","它主打把 coding agent 的轉發開銷壓到 1ms 以下。","目前已支援 E2B、Daytona 與排程觸發，進階 state 功能還在 roadmap。","Python 版仍是企業主力，Rust 版比較像低延遲實驗線。",2,"2026-06-08T06:17:32.954118+00:00","2026-06-08T06:17:32.928+00:00","e3b68196-9e64-4c18-a3b6-a73e73bfb367",{"tags":34,"relatedLang":46,"relatedPosts":50},[35,38,40,42,44],{"name":36,"slug":37},"AI Gateway","ai-gateway",{"name":19,"slug":39},"rust-gateway",{"name":21,"slug":41},"coding-agent",{"name":17,"slug":43},"litellm",{"name":18,"slug":45},"litellm-rust",{"id":15,"slug":47,"title":48,"language":49},"litellm-rust-minimal-ai-gateway-en","LiteLLM launches a minimal Rust gateway for agents","en",[51,57,63,69,75,81],{"id":52,"slug":53,"title":54,"cover_image":55,"image_url":55,"created_at":56,"category":13},"3d1e5ef7-8f31-4e57-b286-306825d7f38e","openclaw-small-business-ai-staff-zh","OpenClaw把AI變成夜班員工","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780904888882-6w0v.png","2026-06-08T07:47:27.229503+00:00",{"id":58,"slug":59,"title":60,"cover_image":61,"image_url":61,"created_at":62,"category":13},"e5195a2a-110f-450d-97f7-298edd173747","claurst-terminal-coding-agents-open-local-zh","Claurst 證明終端編碼代理應該開源且本地化","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780888681781-75z2.png","2026-06-08T03:17:22.236957+00:00",{"id":64,"slug":65,"title":66,"cover_image":67,"image_url":67,"created_at":68,"category":13},"823f413f-0504-425c-a8de-956a60754b9d","how-to-set-up-agentscope-java-harness-zh","怎麼設定 AgentScope Java Harness","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780877895461-376p.png","2026-06-08T00:17:46.417304+00:00",{"id":70,"slug":71,"title":72,"cover_image":73,"image_url":73,"created_at":74,"category":13},"066e5903-7569-402f-a397-f01468ffecd4","reid-hoffman-leaves-microsoft-board-manus-ai-zh","霍夫曼離開微軟董事會，轉向 Manus","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780827469679-fpyr.png","2026-06-07T10:17:21.250923+00:00",{"id":76,"slug":77,"title":78,"cover_image":79,"image_url":79,"created_at":80,"category":13},"fb5eb422-6013-43fe-bdc4-26c57eee0d9e","how-to-understand-codex-chatgpt-merge-zh","怎麼理解 Codex 與 ChatGPT 合併","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780704172974-ypaa.png","2026-06-06T00:02:25.891496+00:00",{"id":82,"slug":83,"title":84,"cover_image":85,"image_url":85,"created_at":86,"category":13},"83c2f8f6-3710-466e-b52c-473b811f0535","how-to-set-up-openclaw-safely-zh","如何安全架設 OpenClaw","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780549368665-1t2l.png","2026-06-04T05:02:21.26625+00:00",[88,93,98,103,108,113,118,123,128,133],{"id":89,"slug":90,"title":91,"created_at":92},"4ae1e197-1d3d-4233-8733-eafe9cb6438b","claude-now-uses-your-pc-to-finish-tasks-zh","Claude 開始幫你操作電腦","2026-03-26T07:20:48.457387+00:00",{"id":94,"slug":95,"title":96,"created_at":97},"5bede67f-e21c-413d-9ab8-54a3c3d26227","googles-2026-ai-agent-report-decoded-zh","Google 2026 AI Agent 報告解讀","2026-03-26T11:15:22.651956+00:00",{"id":99,"slug":100,"title":101,"created_at":102},"2987d097-563f-46c7-b76f-b558d8ef7c2b","kimi-k25-review-stronger-still-not-legend-zh","Kimi K2.5 評測：更強，但還不是神作","2026-03-27T07:15:55.277513+00:00",{"id":104,"slug":105,"title":106,"created_at":107},"95c9053b-e3f4-4cb5-aace-5c54f4c9e044","claude-code-controls-mac-desktop-zh","Claude Code 也能操控 Mac 了","2026-03-28T03:01:58.58121+00:00",{"id":109,"slug":110,"title":111,"created_at":112},"dc58e153-e3a8-4c06-9b96-1aa64eabbf5f","cloudflare-100x-faster-ai-agent-sandbox-zh","Cloudflare 的 AI 沙箱跑超快","2026-03-28T03:09:44.142236+00:00",{"id":114,"slug":115,"title":116,"created_at":117},"1c8afc56-253f-47a2-979f-1065ff072f2a","openai-backs-isara-agent-swarm-bet-zh","OpenAI 挺 Isara 的 agent swarm …","2026-03-28T03:15:27.513155+00:00",{"id":119,"slug":120,"title":121,"created_at":122},"7379b422-576e-45df-ad5a-d57a0d9dd467","openai-plan-automated-ai-researcher-zh","OpenAI 想做自動化 AI 研究員","2026-03-28T03:17:42.090548+00:00",{"id":124,"slug":125,"title":126,"created_at":127},"48c9889e-86df-450b-a356-e4a4b7c83c5b","harness-engineering-ai-agent-reliability-2026-zh","駕馭工程：從「馬具」到「作業系統」，AI Agent 可靠性的終極密碼","2026-03-31T06:42:53.556721+00:00",{"id":129,"slug":130,"title":131,"created_at":132},"96d8e8c8-1edd-475d-9145-b1e7a1b02b65","mcp-explained-from-prompts-to-production-zh","MCP 怎麼把提示詞變工作流","2026-04-01T09:24:39.321274+00:00",{"id":134,"slug":135,"title":136,"created_at":137},"f2ca7720-b471-4ce5-9336-2a9ac2a876fd","amazon-bedrock-agents-multi-agent-workflows-zh","Amazon Bedrock Agents 進入多代理工作流","2026-04-01T09:30:29.945429+00:00"]