OraCore · Topic ·research

Google TurboQuant 壓低 LLM 記憶體成本

Google 推出 TurboQuant，結合 QJL 與 PolarQuant，主打壓低 vector quantization 的記憶體開銷，並宣稱 LLM inference 最高可快 8 倍。

4 articles in this thread ·Last updated 3h ago·First seen Jul 5, 2026

時間軸

  1. TurboQuant：線上向量量化更接近最優

    TurboQuant 提出可線上運作、適合加速器的向量量化方法，主打 MSE 與 inner-product 失真都能逼近近似最優，並鎖定 KV cache 與向量搜尋場景。

  2. TurboQuant 省 6 倍記憶體，還不掉準確率

    Google Research 發表 TurboQuant，主打記憶體用量降到 1/6、推論快 8 倍，且在報告測試中沒有準確率損失。這篇看它怎麼改 AI 伺服器成本。

  3. Google TurboQuant 壓低 LLM 記憶體成本 種子

    Google 推出 TurboQuant，結合 QJL 與 PolarQuant，主打壓低 vector quantization 的記憶體開銷，並宣稱 LLM inference 最高可快 8 倍。