標籤

distillation

蒸餾是把大型模型的推理能力、排序偏好或生成行為，轉移到較小模型的訓練方法。它常用於降低推論成本、縮短延遲，並讓 SLM 在重排、生成與跨架構對齊上更實用。

6 篇文章

測試時外掛讓弱模型升級

強模型可在不改權重下，替弱模型打造測試時外掛，讓表現幾乎翻倍。

黃仁勳用開放信把 open-weight AI 說成基礎設施、不是口號；我拆給你看，順手附可直接套用的團隊模板。

白宮顧問指控 Moonshot AI 透過蒸餾複製 Anthropic 能力，還疑似使用受限 Nvidia 伺服器。這起爭議卡在美中 AI 競爭、出口管制與開源模型的交界。

我拆 On-Policy Distillation 的做法，整理成可直接套用的後訓練模板，少碰硬拼 RL。

CARV 用分層蒙地卡羅、重要性取樣與重用昂貴前處理，降低 diffusion-teacher 管線的梯度方差與計算浪費。

S2T 讓小型語言模型先產生候選詞，再學會自己重排，不必每次都呼叫大型模型。