OraCore · Topic ·blockchain

新詞初始化別再只取平均

GTI 在微調前先把新詞錨定到有意義的嵌入位置,避免平均初始化讓 token 擠成一團,進而影響生成式推薦的表現。

1 articles in this thread ·Last updated 19h ago·First seen Jul 5, 2026

時間軸

  1. GTI 在微調前先把新詞錨定到有意義的嵌入位置,避免平均初始化讓 token 擠成一團,進而影響生成式推薦的表現。