OraCore · Topic ·research

UniPool:共享 MoE 專家池

UniPool 把 MoE 的分層專家改成全域共享池,減少重複參數,並在五個 LLaMA 規模模型上改善驗證損失。

1 articles in this thread ·Last updated 19h ago·First seen Jul 5, 2026

時間軸

  1. UniPool 把 MoE 的分層專家改成全域共享池,減少重複參數,並在五個 LLaMA 規模模型上改善驗證損失。