turbovec：Rust 向量索引把 10M 文件壓到 4GB
RyanCodrai 的 turbovec 用 Rust 向量索引與 Python 綁定，把 1,000 萬文件的記憶體占用從 31GB 壓到 4GB，並主打可增量寫入與本地搜尋。
如果你的 RAG 系統一擴容就爆 RAM，問題通常不是模型，而是向量索引。RyanCodrai 的 turbovec 這次把焦點放在記憶體占用，目標是讓 1,000 萬份文件的索引從 31GB 壓到 4GB。
turbovec 是一個帶 Python 綁定的 Rust 向量索引，主打更省記憶體、可增量寫入和本地搜尋。
| 項目 | 數值 |
|---|---|
| Repository stars | 14.8k |
| Forks | 1.3k |
| Commits | 359 |
| 10M 文件以 float32 計算 | 31 GB |
| turbovec 同規模占用 | 4 GB |
| 搜尋 benchmark | 100K vectors、1K queries、k=64 |
發生了什麼
訂閱 AI 趨勢週報
每週精選模型發布、工具應用與深度分析，直送信箱。不定期，不騷擾。
不會寄垃圾信，隨時可取消。
turbovec 把 Google Research 的 TurboQuant 思路包進一個本地向量索引，底層用 Rust，外層提供 Python API。它的定位很直接：讓向量檢索可以在本機、VPC 或離線環境跑，而不是只能靠大記憶體伺服器撐場。
這個專案主打的是實務功能，不是只做壓縮展示。文件更新時不需要先訓練、重新調參或整個重建索引，新增向量可以直接進來，這對持續 ingest 的資料流很重要。
repo 也把一些常見的生產需求一起做進去。像是穩定的外部 ID、快照讀寫、只同步變更資料的 sync(path) 路徑，還有在搜尋核心內直接做 allowlist 過濾。
- Rust core 搭配 Python bindings
- TurboQuant 壓縮與搜尋
- 可增量
sync(path)，偏向 crash-safe 保存 - 搜尋時內建 allowlist 過濾
- 適合 air-gapped 或 local-only 的 RAG 堆疊
效能面上，repo 拿 FAISS 的 IndexPQFastScan 來對比 turbovec，在 100K vectors 的測試裡，官方回報 ARM 和 x86 都有更快的搜尋表現。4-bit 情境下平均提升約 3.4x 到 3.5x，2-bit 則視架構與測試格子落在約 20% 到 26%。
為什麼重要
對做 RAG、相似度搜尋或內部知識庫的團隊來說，這種工具最直接的價值是把硬體壓力往下拉。原本需要 31GB 的索引，如果能縮到 4GB，部署選項就會從大型機器多出很多，連 on-device 或小型 VPC 都更容易談。
另一個實際影響是開發流程會更順。很多團隊想要的是 Python 的使用體驗，但底層又希望有 Rust 的效能與記憶體控制，turbovec 正好卡在這個位置，讓現有的 LangChain、LlamaIndex、Haystack、Agno 專案比較容易換後端。
它也反映出向量資料庫競爭的重點已經變了。現在比的不只是召回率或吞吐量，還包括能不能增量更新、能不能安全落盤、能不能在有限 RAM 下長期跑，這些才是團隊進 production 時最常卡住的地方。
問題回到一個很務實的點：當索引壓縮、離線部署和增量同步都做到位時，下一個瓶頸會落在資料品質，還是搜尋精度本身？