[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-random-neural-nets-fluctuations-phase-transitions-zh":3,"tags-random-neural-nets-fluctuations-phase-transitions-zh":30,"related-lang-random-neural-nets-fluctuations-phase-transitions-zh":31,"related-posts-random-neural-nets-fluctuations-phase-transitions-zh":35,"series-research-3823f95c-b999-49c7-8ebb-6533799afe82":72},{"id":4,"title":5,"content":6,"summary":7,"source":8,"source_url":9,"author":10,"image_url":11,"keywords":12,"language":18,"translated_content":10,"views":19,"is_premium":20,"created_at":21,"updated_at":21,"cover_image":11,"published_at":22,"rewrite_status":23,"rewrite_error":10,"rewritten_from_id":24,"slug":25,"category":26,"related_article_id":27,"status":28,"google_indexed_at":29,"x_posted_at":10},"3823f95c-b999-49c7-8ebb-6533799afe82","隨機神經網路的三態漲落相變","\u003Cp>深度神經網路的研究，很多時候都在談訓練、準確率、或 scaling law。但這篇論文換了一個角度，去看更基礎、也更偏理論的問題：當一個無限寬的隨機神經網路越疊越深時，它的輸出函數泛函，最後會長成什麼樣子。\u003C\u002Fp>\u003Cp>答案不是單一路徑。論文指出，這些漲落會落入三種不同的極限行為，而且分界點不是靠經驗法則，而是由 covariance function 的固定點結構來決定。這代表深度本身就可能觸發相變，而不是只是讓模型「更複雜」而已。\u003C\u002Fp>\u003Cp>本文對應的論文是 \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2604.19738\">Phase Transitions in the Fluctuations of Functionals of Random Neural Networks\u003C\u002Fa>。它研究的是定義在 d 維球面上的無限寬隨機神經網路，重點放在深度增加時，輸出高斯場相關泛函的極限分布會如何改變。\u003C\u002Fp>\u003Ch2>這篇論文在解什麼痛點\u003C\u002Fh2>\u003Cp>隨機神經網路常被拿來當理論工具，用來理解深度、寬度、與訊號傳遞之間的關係。當寬度趨近無限時，很多輸出可以被近似成高斯對象，分析會變得比較乾淨。但一旦你往下看「輸出之上的泛函」，也就是不只看點值，而是看某種整體統計量，事情就沒那麼單純。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1776838016911-ba0a.png\" alt=\"隨機神經網路的三態漲落相變\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>這篇論文想回答的問題很直接：當深度一直增加時，這些泛函\u003Ca href=\"\u002Fnews\u002Fwhat-devops-really-means-on-aws-zh\">到底\u003C\u002Fa>會收斂到什麼分布？是一般的高斯極限？是某個由極限高斯場所決定的函數？還是更非典型的非高斯極限？\u003C\u002Fp>\u003Cp>作者把這件事描述成 phase transition，也就是相變。意思是說，同一個隨機網路設定，因為 covariance map 的固定點性質不同，最後可能走向完全不同的統計極限。這種觀點對理論上很重要，因為它提醒我們：深度不是只有「多一層」這麼簡單，它可能改變整個極限世界。\u003C\u002Fp>\u003Ch2>方法到底怎麼運作\u003C\u002Fh2>\u003Cp>這篇論文的核心，不是在設計新架構，而是在分析 covariance function 與其反覆迭代後的行為。作者指出，深度增加時，covariance 會一層一層經過同一個 o\u003Ca href=\"\u002Fnews\u002Fai-papers-of-the-week-ml-paper-roundup-zh\">per\u003C\u002Fa>ator 的作用，而這個 operator 的固定點，決定了系統最後會落在哪一種極限。\u003C\u002Fp>\u003Cp>更白話一點說，整個故事的主角不是某個單一神經元，也不是 loss，而是「共變異數怎麼被深度推著走」。如果固定點是穩定的，漲落的型態就會跟著穩定下來；如果固定點不穩，極限行為就可能換成另一種 regime。論文就是把這個固定點結構，當成整個相變現象的分類器。\u003C\u002Fp>\u003Cp>根據摘要，作者整理出三種不同的極限結果：\u003C\u002Fp>\u003Cul>\u003Cli>收斂到某個極限高斯場的同一個泛函；\u003C\u002Fli>\u003Cli>收斂到高斯分布；\u003C\u002Fli>\u003Cli>收斂到 Qth Wiener chaos 裡的分布。\u003C\u002Fli>\u003C\u002Ful>\u003Cp>這三種結果的差別很關鍵。第一種表示你看到的是極限高斯場上的某個穩定函數型態；第二種是大家最熟的中心極限定理式高斯收斂；第三種則代表你進入了非高斯極限，但不是亂掉，而是落在一個很具體的高階隨機結構，也就是 Wiener chaos。\u003C\u002Fp>\u003Cp>為了證明這些結果，作者用到 Hermite expansions、Diagram Formula、以及 Stein-Malliavin techniques。這些都不是新工具，但組合方式有新意。真正的創新，在於把這些機率論與隨機分析工具，接到 covariance 迭代的固定點分析上，讓深度行為和極限分布之間建立明確對應。\u003C\u002Fp>\u003Cp>換句話說，這篇論文不是在說「深度越深就越難分析」，而是在說「深度越深時，分析的關鍵變數是固定點與穩定性」。只要你抓到 covariance map 的動態，就能預測最後是哪一種極限。\u003C\u002Fp>\u003Ch2>論文實際證明了什麼\u003C\u002Fh2>\u003Cp>摘要明確指出，作者證明了 central limit theorem 與 non-central limit theorem 兩類結果。這表示他們不只證明某些情況下會得到高斯極限，也證明了在其他情況下，極限會偏離高斯，而且偏離得有結構，不是隨機噪音式的失控。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1776838012962-mt71.png\" alt=\"隨機神經網路的三態漲落相變\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>論文最重要的實際結論，是深度增加時的極限行為，會「顯著依賴」covariance operator 的固定點。這就是所謂的 phase transition：不是所有設定都共享同一個深度極限，而是會因為固定點的性質不同，分裂成不同的統計區域。\u003C\u002Fp>\u003Cp>摘要沒有公開完整 benchmark 細節，也沒有實驗數字、準確率、或 runtime 比較。這很正常，因為這是一篇理論論文，重點在數學結構，不在實作表現。你在這裡看不到模型在某個資料集上的分數，而是看到一個更底層的結果：隨機深層網路的漲落極限，並不是單一模板。\u003C\u002Fp>\u003Cp>另一個值得注意的點，是非高斯極限不是模糊地說「不再像高斯」。摘要明確寫到，它收斂到 Qth Wiener chaos 中的分布。對熟悉機率論的人來說，這是一個很具體的高階極限類別，表示系統進入的是某種有結構的非高斯世界，而不是完全失去可分析性。\u003C\u002Fp>\u003Ch2>對開發者和研究者有什麼影響\u003C\u002Fh2>\u003Cp>雖然這篇不是應用型 ML 論文，但它對做理論分析的人很有參考價值。尤其是那些在看 infinite-width approximation、random initialization theory、或 kernel limit 的人，這篇論文提供了一個很重要的提醒：深度的極限，不一定只有一種高斯答案。\u003C\u002Fp>\u003Cp>這件事會影響你怎麼理解穩定性、訊號傳遞、以及輸出統計。很多時候，我們會直覺以為只要寬度夠大，系統就會靠近高斯世界；但這篇論文說，還要看 covariance fixed points 怎麼長。固定點穩不穩，可能比「夠不夠寬」更直接地決定最後的極限型態。\u003C\u002Fp>\u003Cp>對工程實作來說，這不代表你要立刻改架構，而是要更小心地看理論近似的適用範圍。當你拿隨機網路或其高斯近似來做分析時，要先問：這個模型的深度動態，會不會把你帶進另一個 regime？如果會，那些原本依賴高斯假設的推論，就不一定還成立。\u003C\u002Fp>\u003Cp>這也延伸出一個更廣的觀念：研究深層模型時，重點不只是「網路有多寬」，而是「架構誘發了什麼樣的迭代系統」。在這篇論文裡，那個迭代系統是 covariance operator。換到其他脈絡，可能是 kernel map、activation recursion，或其他 function space 裡的動態。\u003C\u002Fp>\u003Ch2>限制與還沒回答的問題\u003C\u002Fh2>\u003Cp>這篇論文最大的限制，也正是它的研究\u003Ca href=\"\u002Fnews\u002Fedge-of-stability-generalization-zh\">邊界\u003C\u002Fa>：它處理的是定義在 d 維球面上的無限寬隨機神經網路。這是一個非常乾淨的理論設定，但它和真實世界裡的有限寬、已訓練、而且常常帶有資料偏差的模型，還是有距離。\u003C\u002Fp>\u003Cp>摘要沒有交代完整的架構細節，也沒有把所有假設條件展開。像是具體研究了哪些 functionals、每個 regime 的精確成立條件是什麼、以及不同固定點的穩定性如何判定，這些都不是摘要層級能完整看見的。對想把結果轉成實作準則的人來說，這些細節會很重要。\u003C\u002Fp>\u003Cp>另外，這種 fixed-point-driven 的相變圖像，是否能直接推廣到其他資料域、其他 activation、或非高斯權重初始化，摘要也沒有說。也就是說，這篇論文提供了非常清楚的理論地圖，但它還不是一份可直接套用的工程手冊。\u003C\u002Fp>\u003Cp>不過，這份地圖還是很有價值。因為它把一個常被簡化成「深度越深，行為越趨近某個極限」的故事，拆成了多個 regime。這對做理論近似的人來說，是一個實用提醒：你手上的極限，不一定是唯一的極限；它可能取決於 covariance dynamics 的固定點結構。\u003C\u002Fp>\u003Cp>總結來說，這篇論文的重點不是提出新模型，而是把隨機神經網路的深度漲落，整理成一個有相變、有固定點、也有不同極限分布的完整圖景。對台灣的 ML 研究者或想理解深層隨機模型的人來說，這是一篇很典型的理論工作：不直接給產品，但會改變你看待深度網路極限行為的方式。\u003C\u002Fp>","這篇理論論文分析無限寬隨機神經網路的高深度極限，指出其函數泛函會因 covariance 固定點而出現三種不同收斂型態。","arxiv.org","https:\u002F\u002Farxiv.org\u002Fabs\u002F2604.19738",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1776838016911-ba0a.png",[13,14,15,16,17],"random neural networks","phase transition","covariance fixed points","Wiener chaos","Stein-Malliavin","zh",0,false,"2026-04-22T06:06:36.386094+00:00","2026-04-22T06:06:36.342+00:00","done","55afdd64-b1a6-4d89-a322-5327edbb35bb","random-neural-nets-fluctuations-phase-transitions-zh","research","ee3a99cb-0f1f-42b8-9bcf-9ac32ecc6770","published","2026-04-22T09:00:14.718+00:00",[],{"id":27,"slug":32,"title":33,"language":34},"random-neural-nets-fluctuations-phase-transitions-en","Random Neural Nets Show Phase-Shifted Fluctuations","en",[36,42,48,54,60,66],{"id":37,"slug":38,"title":39,"cover_image":40,"image_url":40,"created_at":41,"category":26},"b41b3999-fa8c-4e87-8914-4ed027fe8bfe","llms-for-asr-evaluation-beyond-wer-zh","LLM 評測 ASR 不只看 WER","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1777010993292-cy1y.png","2026-04-24T06:09:37.70822+00:00",{"id":43,"slug":44,"title":45,"cover_image":46,"image_url":46,"created_at":47,"category":26},"7459b8af-e677-4be6-a601-67ed8909a425","task-boundaries-can-skew-continual-learning-results-zh","任務邊界會扭曲持續學習","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1777010816716-77s9.png","2026-04-24T06:06:30.918134+00:00",{"id":49,"slug":50,"title":51,"cover_image":52,"image_url":52,"created_at":53,"category":26},"12798df5-b029-476f-95e0-25463877e589","teaching-video-models-understand-time-zh","讓影片模型學會讀時間","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1777010640807-d7xp.png","2026-04-24T06:03:36.812308+00:00",{"id":55,"slug":56,"title":57,"cover_image":58,"image_url":58,"created_at":59,"category":26},"7ec4baa4-f0af-441e-a97d-56f81a2ca854","avise-ai-security-evaluation-framework-zh","AVISE 模組化測 AI 安全漏洞","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1776924771424-kztu.png","2026-04-23T06:12:30.770582+00:00",{"id":61,"slug":62,"title":63,"cover_image":64,"image_url":64,"created_at":65,"category":26},"b418bc8d-86c6-44d6-93f0-e26473db9649","parallel-sft-code-rl-cross-language-transfer-zh","Parallel-SFT 讓 code RL 更會跨語言","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1776924588963-c6d5.png","2026-04-23T06:09:32.299476+00:00",{"id":67,"slug":68,"title":69,"cover_image":70,"image_url":70,"created_at":71,"category":26},"0274c95d-bf59-405b-a4fd-425f4bb39368","speechparaling-bench-paralinguistic-speech-generation-zh","SpeechParaling-Bench盯住語氣細節","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1776924234553-lme6.png","2026-04-23T06:03:38.74229+00:00",[73,78,83,88,93,98,103,108,113,118],{"id":74,"slug":75,"title":76,"created_at":77},"f18dbadb-8c59-4723-84a4-6ad22746c77a","deepmind-bets-on-continuous-learning-ai-2026-zh","DeepMind 押注 2026 連續學習 AI","2026-03-26T08:16:02.367355+00:00",{"id":79,"slug":80,"title":81,"created_at":82},"f4a106cb-02a6-4508-8f39-9720a0a93cee","ml-papers-of-the-week-github-research-desk-zh","每週 ML 論文清單，為何紅到 GitHub","2026-03-27T01:11:39.284175+00:00",{"id":84,"slug":85,"title":86,"created_at":87},"c4f807ca-4e5f-47f1-a48c-961cf3fc44dc","ai-ml-conferences-to-watch-in-2026-zh","2026 AI 研討會投稿時程整理","2026-03-27T01:51:53.874432+00:00",{"id":89,"slug":90,"title":91,"created_at":92},"9f50561b-aebd-46ba-94a8-363198aa7091","openclaw-agents-manipulated-self-sabotage-zh","OpenClaw Agent 會自己搞砸自己","2026-03-28T03:03:18.786425+00:00",{"id":94,"slug":95,"title":96,"created_at":97},"11f22e92-7066-4978-a544-31f5f2156ec6","vega-learning-to-drive-with-natural-language-instructions-zh","Vega：使用自然語言指示進行自駕車控制","2026-03-28T14:54:04.847912+00:00",{"id":99,"slug":100,"title":101,"created_at":102},"a4c7cfec-8d0e-4fec-93cf-1b9699a530b8","drive-my-way-en-zh","Drive My Way：個性化自駕車風格的實現","2026-03-28T14:54:26.207495+00:00",{"id":104,"slug":105,"title":106,"created_at":107},"dec02f89-fd39-41ba-8e4d-11ede93a536d","training-knowledge-bases-with-writeback-rag-zh","用 WriteBack-RAG 強化知識庫提升檢索效能","2026-03-28T14:54:45.775606+00:00",{"id":109,"slug":110,"title":111,"created_at":112},"3886be5c-a137-40cc-b9e2-0bf18430c002","packforcing-efficient-long-video-generation-method-zh","PackForcing：短影片訓練也能生成長影片","2026-03-28T14:55:02.688141+00:00",{"id":114,"slug":115,"title":116,"created_at":117},"72b90667-d930-4cc9-8ced-aaa0f8968d44","pixelsmile-toward-fine-grained-facial-expression-editing-zh","PixelSmile：提升精細臉部表情編輯的新方法","2026-03-28T14:55:20.678181+00:00",{"id":119,"slug":120,"title":121,"created_at":122},"cf046742-efb2-4753-aef9-caed5da5e32e","adaptive-block-scaled-data-types-zh","IF4：神經網路量化的聰明選擇","2026-03-31T06:00:36.990273+00:00"]