[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-aurora-lm-continuous-latent-diffusion-text-zh":3,"article-related-aurora-lm-continuous-latent-diffusion-text-zh":29,"series-research-0c15b021-0f9e-4010-9bf2-b763c62bf4a1":72},{"id":4,"slug":5,"title":6,"content":7,"summary":8,"source":9,"source_url":10,"author":11,"image_url":12,"cover_image":12,"category":13,"language":14,"translated_content":11,"related_article_id":15,"keywords":16,"key_takeaways":22,"views":26,"created_at":27,"published_at":28,"topic_cluster_id":11},"0c15b021-0f9e-4010-9bf2-b763c62bf4a1","aurora-lm-continuous-latent-diffusion-text-zh","AURORA-LM 把擴散搬進文字潛空間","\u003Cp>如果你做過文字\u003Ca href=\"\u002Fnews\u002Fgoogle-earth-image-generation-wrong-bet-zh\">生成\u003C\u002Fa>，應該很熟悉這個卡點：\u003Ca href=\"\u002Ftag\u002Ftoken\">token\u003C\u002Fa> 很好切，但不一定好學；潛表示很有彈性，但一壓縮就容易丟細節。AURORA-LM 想處理的，就是這個兩難。\u003C\u002Fp>\u003Cp data-speakable=\"summary\">AURORA-LM 把文字放進可解碼的連續潛空間，再直接在這個表示上訓練擴散模型。\u003C\u002Fp>\u003Cul>\u003Cli>\u003Cstrong>研究機構\u003C\u002Fstrong>：arXiv 摘要未明確標註\u003C\u002Fli>\u003Cli>\u003Cstrong>核心數據\u003C\u002Fstrong>：1B 參數\u003C\u002Fli>\u003Cli>\u003Cstrong>突破點\u003C\u002Fstrong>：查詢式編碼器＋區塊因果擴散\u003C\u002Fli>\u003C\u002Ful>\u003Cp>這篇論文的重點，不是再做一個更大的語言模型，而是換一個生成座標系。它把文字從傳統 token 路線，拉進連續潛空間，然後讓 diffusion 直接在這個空間裡工作。對開發者來說，這代表一條不同的路：不是先把表示壓扁，再讓生成器去補洞，而是先保住表示能力，再讓生成器去適應它。\u003C\u002Fp>\u003Ch2>它想解的痛點是什麼\u003C\u002Fh2>\u003Cp>摘要很明確地把文字生成描述成「生成模型中的異類」。影像、音訊、影片系統越來越常用連續潛空間，但文字模型大多還是停在離散 token。這不只是表示法不同而已，背後牽涉的是整個生成與解碼的瓶頸設計。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785823373617-amg6.png\" alt=\"AURORA-LM 把擴散搬進文字潛空間\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>作者指出，現有的連續文字模型大致有兩種路線。第一種是沿用原本不一定為聯合生成與解碼設計的 embedding 空間。第二種是把 autoencoded latent 壓得更小，好讓 diffusion 比較容易學，但代價是 token-level fidelity 下降。也就是說，模型雖然比較好採樣了，卻更難忠實還原文字。\u003C\u002Fp>\u003Cp>這正是 AURORA-LM 要避開的地方。它的思路很直接：不要為了讓生成器好做事，就先把表示法削弱。相反地，保留高容量的 latent，再去設計一個能吃下這種 latent 的 diffusion 架構。\u003C\u002Fp>\u003Ch2>方法怎麼運作\u003C\u002Fh2>\u003Cp>AURORA-LM 把系統拆成兩個工作。第一個工作是建立一個「好解碼」的文字表示。第二個工作是直接在這個表示上學習 diffusion 分佈。這樣做的目的，是讓表示能力和生成能力分開處理，而不是互相妥協到兩邊都不夠強。\u003C\u002Fp>\u003Cp>在表示端，論文使用的是 Query-based Encoder-Decoder。摘要描述它把文字組織成一個高容量、prefix-aligned 的 latent sequence。白話一點說，這個 latent 結構被安排得比較像語言生成常見的左到右\u003Ca href=\"\u002Fnews\u002Fai-jiedan-zuo-tushengtu-fuye-shizhan-liucheng-zh\">流程\u003C\u002Fa>，方便後面的生成步驟順著走。\u003C\u002Fp>\u003Cp>在生成端，論文用的是 Block-causal Diffusion Transformer，並搭配 flow matching。它會一個 block 一個 block 地從左到右生成，同時對每個 block 內的位置做平行去噪。這種設計比純 token-by-token 解碼更有結構，也比完全無序的擴散更貼近文字序列的使用方式。\u003C\u002Fp>\u003Cp>摘要裡還有一個關鍵點：AURORA-LM 並不是把 latent 先縮小，來換取 diffusion 的可學性。它限制的是 noisy-input 路徑，但 clean-latent 的預測目標仍維持完整寬度。這個做法的用意，是在 diffusion 面對困難 latent 時，仍盡量保住 decoder 端需要的容量。\u003C\u002Fp>\u003Cp>除此之外，作者還加了兩個輔助設計。第一是 noise-level distribution calibration，用來讓噪聲分佈跟 latent 寬度對齊。第二是 self-trajectory consistency，用來縮短訓練時「獨立抽樣噪聲」和推論時「逐步去噪」之間的落差。這些通常不是最吸睛的部分，但往往是方法能不能穩定跑起來的關鍵。\u003C\u002Fp>\u003Ch2>論文實際證明了什麼\u003C\u002Fh2>\u003Cp>摘要聲稱，AURORA-LM 在所評估的 continuous 與 diffusion-based language models 中，於 OpenWebText free generation 和 XSum summarization 取得最佳表現。它也提到模型可擴展到 1B 參數，總計算量約 1500 EFLOPs，且擴展後還能帶來額外提升。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785823376752-ovuv.png\" alt=\"AURORA-LM 把擴散搬進文字潛空間\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>另一個值得注意的說法，是它在匹配的評估協議下，超過了一個更大的、公開釋出的 latent-diffusion language model。這點重要，因為它至少暗示：優勢不只是來自模型更大，或是 \u003Ca href=\"\u002Ftag\u002Fbenchmark\">benchmark\u003C\u002Fa> 比較好看，而是方法本身真的有差異。\u003C\u002Fp>\u003Cp>不過，摘要沒有公開完整 benchmark 表格、精確分數，或各任務的逐項數字。所以如果你想看明確的 leaderboard 差距，這份摘要沒有給足。它能確認的是方向性結果：在作者列出的評估裡，AURORA-LM 是表現最強的那一個。\u003C\u002Fp>\u003Cp>還有一個實作脈絡值得記下來：所有實驗都在 Ascend NPU 上完成。這代表報告中的結果，和特定硬體環境有關。摘要沒有說方法是否只能在這個堆疊上成立，但至少你知道這些數字是在哪裡跑出來的。\u003C\u002Fp>\u003Ch2>對開發者有什麼影響\u003C\u002Fh2>\u003Cp>對做生成系統的人來說，這篇最有意思的地方，不只是「diffusion 可以用在文字」這件事，而是它在提示一種新的設計順序：先把 representation 做到能被 decoder 好好還原，再去調整 generator。這跟常見的壓縮優先管線很不一樣。\u003C\u002Fp>\u003Cp>如果這條路可行，實務上的意義是，文字模型不一定非得綁死在離散 token。你可以想像一種更接近影像、音訊那類 continuous generative system 的設計，但又不必太早犧牲可解碼性。對需要兼顧生成品質與還原精度的場景，這種架構思路很值得追。\u003C\u002Fp>\u003Cp>不過，限制也很清楚。摘要沒有交代推論成本、對 latent 寬度的敏感度、或在更廣泛語言任務上的表現。它也沒有說這套方法離開 Ascend NPU 之後，是否仍然容易重現。這些都會影響它從研究原型走到工程實作的可行性。\u003C\u002Fp>\u003Cp>換句話說，AURORA-LM 提供的是一個方向很鮮明的證據：連續潛空間不只是影像、音訊、影片的專利，文字也能用，而且可以配合特別設計的 diffusion 架構來維持解碼品質。只是目前從摘要看來，這仍是方法論上的突破，不是已經被完整驗證到各種場景都穩定成立的通用解法。\u003C\u002Fp>\u003Ch2>總結\u003C\u002Fh2>\u003Cp>AURORA-LM 證明了一件事：文字生成不一定要一直待在 token 世界裡。只要 latent 設計夠強、diffusion 也跟得上，連續表示法可以成為文字模型的另一條可行路線。\u003C\u002Fp>\u003Cp>對台灣的\u003Ca href=\"\u002Fnews\u002Fkimi-k3-jiu-kai-shi-gei-zi-ji-da-gong-liao-zh\">模型開發\u003C\u002Fa>者來說，這篇的價值在於它不是單純把 diffusion 套到文字上，而是把「表示法」和「生成器」的責任切開，重新分配。這種思路，可能會比單純堆參數更值得關注。\u003C\u002Fp>\u003Cul>\u003Cli>它把文字生成從離散 token 拉進可解碼的連續潛空間。\u003C\u002Fli>\u003Cli>它用 query-based encoder-decoder 配合 block-causal diffusion transformer。\u003C\u002Fli>\u003Cli>它在摘要中主張於 OpenWebText 與 XSum 上領先已評估模型。\u003C\u002Fli>\u003C\u002Ful>","AURORA-LM 把文字放進可解碼的連續潛空間，再直接在這個表示上訓練擴散模型，嘗試兼顧生成與還原品質。","arxiv.org","https:\u002F\u002Farxiv.org\u002Fabs\u002F2608.02602",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785823373617-amg6.png","research","zh","e4e66f1a-2c10-4c30-8c5c-fe98e008d637",[17,18,19,20,21],"diffusion language model","continuous latent space","query-based encoder-decoder","block-causal transformer","flow matching",[23,24,25],"AURORA-LM 把文字生成改成在連續潛空間上做 diffusion，而不是只靠離散 token。","方法核心是保留高容量 latent，再用區塊因果擴散與輔助校準機制去適應它。","摘要主張它在 OpenWebText free generation 與 XSum summarization 上領先，但沒有公開完整 benchmark 數字。",0,"2026-08-04T06:02:30.179771+00:00","2026-08-04T06:02:30.144+00:00",{"tags":30,"relatedLang":31,"relatedPosts":35},[],{"id":15,"slug":32,"title":33,"language":34},"aurora-lm-continuous-latent-diffusion-text-en","AURORA-LM brings diffusion to text latents","en",[36,42,48,54,60,66],{"id":37,"slug":38,"title":39,"cover_image":40,"image_url":40,"created_at":41,"category":13},"94868bb8-090d-45e6-aad1-cb6ef1832e1a","onepot-bench-0-lab-aware-chemistry-benchmarks-zh","onepot-Bench 0：化學模型要會看實驗室","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785826985297-kz8q.png","2026-08-04T07:02:33.831627+00:00",{"id":43,"slug":44,"title":45,"cover_image":46,"image_url":46,"created_at":47,"category":13},"f166a46b-2275-4add-b15f-fd573fc4313c","kimi-k3-jiu-kai-shi-gei-zi-ji-da-gong-liao-zh","Kimi K3 已經開始替自己打工：模型開發正在變成生產力","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785808984848-jffx.png","2026-08-04T02:02:34.758032+00:00",{"id":49,"slug":50,"title":51,"cover_image":52,"image_url":52,"created_at":53,"category":13},"480a1f71-36fb-40c2-abef-8d1fa18dd390","private-mode-finding-regression-clustering-zh","私有模式估計逼近最優","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785740576520-rgql.png","2026-08-03T07:02:29.463583+00:00",{"id":55,"slug":56,"title":57,"cover_image":58,"image_url":58,"created_at":59,"category":13},"2dabbf39-7875-4653-91da-0b7cd9db4185","extractbench-schema-guided-document-extraction-zh","ExtractBench 盯住企業文件抽取","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785738798200-jk2q.png","2026-08-03T06:32:48.454298+00:00",{"id":61,"slug":62,"title":63,"cover_image":64,"image_url":64,"created_at":65,"category":13},"09f65a63-1e3d-461e-8a61-e03207bc5c8f","toktier-stateful-tokenization-agentic-llm-serving-zh","TokTier 省掉代理式 LLM 分詞開銷","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785736981865-pjj3.png","2026-08-03T06:02:29.725458+00:00",{"id":67,"slug":68,"title":69,"cover_image":70,"image_url":70,"created_at":71,"category":13},"cb1ef9ed-b3cb-4c1e-8d4b-ba6cdebc0e0e","openai-hugging-face-breach-agents-hard-limits-zh","OpenAI 與 Hugging Face 事件證明：AI agents 必須…","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1785654169827-uf2w.png","2026-08-02T07:02:22.957846+00:00",[73,78,83,88,93,98,103,108,113,118],{"id":74,"slug":75,"title":76,"created_at":77},"f18dbadb-8c59-4723-84a4-6ad22746c77a","deepmind-bets-on-continuous-learning-ai-2026-zh","DeepMind 押注 2026 連續學習 AI","2026-03-26T08:16:02.367355+00:00",{"id":79,"slug":80,"title":81,"created_at":82},"f4a106cb-02a6-4508-8f39-9720a0a93cee","ml-papers-of-the-week-github-research-desk-zh","每週 ML 論文清單，為何紅到 GitHub","2026-03-27T01:11:39.284175+00:00",{"id":84,"slug":85,"title":86,"created_at":87},"c4f807ca-4e5f-47f1-a48c-961cf3fc44dc","ai-ml-conferences-to-watch-in-2026-zh","2026 AI 研討會投稿時程整理","2026-03-27T01:51:53.874432+00:00",{"id":89,"slug":90,"title":91,"created_at":92},"cf046742-efb2-4753-aef9-caed5da5e32e","adaptive-block-scaled-data-types-zh","IF4：神經網路量化的聰明選擇","2026-03-31T06:00:36.990273+00:00",{"id":94,"slug":95,"title":96,"created_at":97},"53a0dc54-0371-4e40-8d5e-74e94a73840c","geometry-aware-similarity-metrics-for-neural-representations-zh","超越距離測量：用微分幾何重新理解神經網路","2026-03-31T06:01:01.241968+00:00",{"id":99,"slug":100,"title":101,"created_at":102},"fee7d472-a775-4b1d-bbc2-1e8bca1bbf8b","on-the-fly-repulsion-in-the-contextual-space-for-rich-divers-zh","讓AI繪圖更有創意：用排斥力提升生成多樣性","2026-03-31T06:01:25.439673+00:00",{"id":104,"slug":105,"title":106,"created_at":107},"a9901203-d69b-447b-8854-15d14eab32b4","vision-aided-beam-prediction-cnn-eca-zh","影像輔助波束預測升級 CNN","2026-04-01T10:00:25.8073+00:00",{"id":109,"slug":110,"title":111,"created_at":112},"b55e7dd4-0a24-4b3d-804d-b0309a03f498","triple-band-fss-mimo-antenna-sub-6-ghz-zh","三頻 FSS MIMO 天線瞄準 sub-6 GHz","2026-04-01T13:18:36.857305+00:00",{"id":114,"slug":115,"title":116,"created_at":117},"f68290bd-e7f3-4b30-ba22-dcd4e0130a66","openclaw-1299-repos-eight-weeks-analysis-zh","OpenClaw 1299 個 Repo 的資料解讀","2026-04-02T05:03:45.208411+00:00",{"id":119,"slug":120,"title":121,"created_at":122},"ed9f80eb-eb02-4d35-8ad4-0ddf428751dd","beam-coherence-aware-combining-mmwave-mimo-zh","毫米波 MIMO 的雙階合併法","2026-04-02T05:27:26.897188+00:00"]