OraCore · Topic ·research

PagedWeight 動態量化 MoE 省顯存

PagedWeight 在推理時動態量化 MoE 權重,換出更多 GPU 記憶體給 KV cache,且維持接近 FP16 的品質。

1 articles in this thread ·Last updated 1d ago·First seen Jul 20, 2026

時間軸

  1. PagedWeight 在推理時動態量化 MoE 權重,換出更多 GPU 記憶體給 KV cache,且維持接近 FP16 的品質。