解碼推論

V100 原始 GGUF vs 預打包權重快取

這篇比較 V100 上原始 GGUF Q4_K 佈局與預打包權重快取，幫你判斷該省顯存還是換取更快的解碼推論。