OraCore · Topic ·research
PagedWeight 動態量化 MoE 省顯存
PagedWeight 在推理時動態量化 MoE 權重,換出更多 GPU 記憶體給 KV cache,且維持接近 FP16 的品質。
1 articles in this thread ·Last updated 1d ago·First seen Jul 20, 2026
時間軸
PagedWeight 在推理時動態量化 MoE 權重,換出更多 GPU 記憶體給 KV cache,且維持接近 FP16 的品質。