標籤
transformer
Transformer 是處理序列資料的核心架構，從文字生成、圖像擴散到日誌異常偵測都常見其身影。它關注注意力機制、長距依賴與推論效率，也延伸到壓縮位元組、生成多樣性與交易系統等實作場景。
12 篇文章
ML 幫忙追 Seiberg 對偶
這篇論文證明，機器學習加上路徑搜尋，可以在約 10 節點的 quiver 上，比純決定式方法更有效追蹤 Seiberg 對偶。
Transformer 推理可落在低維流形
這篇論文把 Transformer 的歸納推理，從難以直看的參數空間，拉回到可解釋的低維不變流形。
線性化 Transformer 但不掉品質
這篇論文證明，凍結骨幹後做分析驅動的線性化改造，能更接近原本 Transformer 的品質與長上下文行為。
單層 Transformer 也能扛住 RL 增益
這篇研究指出，強化學習後訓練的主要增益，可能集中在 Transformer 少數層，甚至只訓練一層就能拿回大部分效果。
5 個關鍵部件看懂 LLMs
5 個關鍵部件帶你看懂 LLMs 如何從資料、token、注意力到對齊，進而判斷訓練與部署該看什麼。
可變寬度 Transformer 省算力
這篇論文證明，Transformer 不必每一層都同寬；把前後層加寬、中央層縮窄，可以在維持表現下減少計算與記憶體。
全雙工 MIMO 改用隱式估測
這篇論文證明，透過少量探測量測與 site-specific Transformer，就能在不明確重建自干擾通道的情況下做出有效波束設計。
大型語言模型是什麼，怎麼運作
大型語言模型把海量文字學成可預測 Token 的系統，能寫作、摘要、翻譯，也會胡說八道。
代理式 LLM 偏誤風險浮現
這篇論文把焦點放在代理式 AI 的偏誤風險，特別是已用在購物、影音與導覽等消費場景的 transformer-based 系統。
CLAD 直接看壓縮位元組抓異常
CLAD 直接在壓縮位元組流上做 log anomaly detection，省掉解壓與解析流程，摘要宣稱平均 F1 達 0.9909。
如何打造 AI 加密貨幣交易機器人
2026 AI 加密貨幣交易機器人實作指南：資料管線、模型選擇、風控、部署與合規，幫你把想法變成能上線的系統。
讓AI繪圖更有創意：用排斥力提升生成多樣性
研究團隊在擴散Transformer中引入即時排斥機制，防止模式崩潰，生成更創意、更多元的文字轉圖像結果。