OraCore · Topic ·research

TIDE 讓跨架構蒸餾可行

TIDE 針對 diffusion LLM 的跨架構蒸餾,加入噪聲感知權重與 tokenizer 感知目標,讓 0.6B 學生模型更接近大模型表現。

1 articles in this thread ·Last updated 19h ago·First seen Jul 5, 2026

時間軸

  1. TIDE 針對 diffusion LLM 的跨架構蒸餾,加入噪聲感知權重與 tokenizer 感知目標,讓 0.6B 學生模型更接近大模型表現。