[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-requential-coding-model-compression-self-generated-data-zh":3,"article-related-requential-coding-model-compression-self-generated-data-zh":30,"series-research-9c4c2bbf-8ffe-4997-8dfc-5dbaa05653cb":73},{"id":4,"slug":5,"title":6,"content":7,"summary":8,"source":9,"source_url":10,"author":11,"image_url":12,"cover_image":12,"category":13,"language":14,"translated_content":11,"related_article_id":15,"keywords":16,"key_takeaways":22,"views":26,"created_at":27,"published_at":28,"topic_cluster_id":29},"9c4c2bbf-8ffe-4997-8dfc-5dbaa05653cb","requential-coding-model-compression-self-generated-data-zh","Requential Coding：看模型學到什麼","\u003Cp>這篇論文在問：\u003Ca href=\"\u002Fnews\u002Fgpt-5-6-luna-terra-sol-release-zh\">模型\u003C\u002Fa>到底學到了什麼？\u003C\u002Fp>\u003Cp data-speakable=\"summary\">Requential coding 用學生模型自己產生的樣本來壓縮訓練過程，讓 code 長度更能反映模型真的學到的結構。\u003C\u002Fp>\u003Cul>\u003Cli>\u003Cstrong>研究機構\u003C\u002Fstrong>：arXiv 摘要未明確標註\u003C\u002Fli>\u003Cli>\u003Cstrong>核心數據\u003C\u002Fstrong>：摘要無公開 benchmark 數字\u003C\u002Fli>\u003Cli>\u003Cstrong>突破點\u003C\u002Fstrong>：自生成樣本壓縮訓練\u003C\u002Fli>\u003C\u002Ful>\u003Cp>這篇論文不是在談把模型權重再切小一點而已。它想處理的是一個更根本的問題：當我們說模型「學會了」，到底是指它記住了資料，還是真的抓到可重用的規律？作者認為，傳統壓縮方法常常看錯重點，所以提出 requential coding，改用另一種方式量化學習成果。\u003C\u002Fp>\u003Cp>對開發者來說，這種問題不只是理論。壓縮常被拿來當作泛化能力的側寫。若一個模型能用更短的 code 表示，通常代表它的行為比較可預測，也比較像是抓到結構，而不是硬背雜訊。這篇論文主張，requential coding 比前人的做法更能看出這件事。\u003C\u002Fp>\u003Ch2>這篇想修正什麼痛點\u003C\u002Fh2>\u003Cp>先看傳統做法。基於參數的壓縮，例如量化，code 長度通常跟模型大小綁得很死。參數越多，壓縮描述往往越長。問題是，參數數量不等於資訊量。兩個模型參數一樣多，學到的東西可能差很多。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1784008983073-ih4s.png\" alt=\"Requential Coding：看模型學到什麼\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>prequential coding 算是往前一步。它壓縮的不是最後權重，而是訓練軌跡。不過它還有一個明顯缺點：它要把完整資料序列也算進去。只要訓練資料本身熵高，code 就會變大，即使模型其實已經學到有用規律。換句話說，資料難不難\u003Ca href=\"\u002Fnews\u002Fgpt-56-benchmarks-sol-coding-cost-zh\">編碼\u003C\u002Fa>，會蓋掉\u003Ca href=\"\u002Fnews\u002Fworkbuddy-harness-engineering-agent-reliability-zh\">模型本身\u003C\u002Fa>簡不簡單這件事。\u003C\u002Fp>\u003Cp>作者認為這就是問題核心。若我們想量的是「學到的函數」有多簡單，那壓縮器就不該被資料雜訊拖著走。它應該在模型行為越可預測時越短，而不是只在資料本身容易描述時才變短。\u003C\u002Fp>\u003Ch2>Requential coding 怎麼運作\u003C\u002Fh2>\u003Cp>這個方法的關鍵很直白，但做法很特別：teacher 會從 student 自己的分布中挑訓練樣本。它不再記錄整條訓練序列，而是只記錄那些被選中的樣本。\u003C\u002Fp>\u003Cp>這樣一來，bit 的成本就改變了。code 只會對 teacher 和 student 的分歧付費，而不是對整個資料集的原始熵付費。摘要明確說，這讓 code 長度不再依賴參數數量，也不再受資料熵主導。\u003C\u002Fp>\u003Cp>如果用白話講，這不是在重播每一筆訓練資料，而是在找出哪些訓練片段真的有助於區分模型。也就是說，它衡量的不是「資料有多長」，而是「模型之間差在哪裡」。這跟一般資料壓縮、權重壓縮都不太一樣。\u003C\u002Fp>\u003Cp>摘要也把它描述成一種 self-generated training-data scheme。樣本來源來自 student 的分布，teacher 負責決定哪些樣本值得被編碼。這個機制就是它能把焦點放在 disagreement，而不是整段資料流的原因。\u003C\u002Fp>\u003Ch2>論文實際證明了什麼\u003C\u002Fh2>\u003Cp>先講限制。摘要沒有放常見的 \u003Ca href=\"\u002Ftag\u002Fbenchmark\">benchmark\u003C\u002Fa> 表，也沒有 accuracy、perplexity 或精確 code length 的完整數字，所以這篇摘要沒有公開完整 benchmark 細節。能確定的是，它提出了一組定性與理論層面的結果。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1784008979997-puss.png\" alt=\"Requential Coding：看模型學到什麼\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>第一，requential code 通常比 prequential code 短很多，而且模型規模越大，優勢越明顯。這點很重要，因為它暗示參數數量不是學習結構的好代理。\u003C\u002Fp>\u003Cp>第二，在 loss 固定時，更大的模型和 ensemble 反而能被壓縮成更小的 code。這看起來有點反直覺，但也正是作者想強調的地方：有些模型雖然參數更多，卻可能把規律學得更集中，所以更容易被短碼描述。\u003C\u002Fp>\u003Cp>第三，把 requential code 放進 PAC-Bayes bound 之後，作者宣稱它能為十億參數級別的 \u003Ca href=\"\u002Ftag\u002Fllm\">LLM\u003C\u002Fa> 提供更好的 generalization guarantee，而且比 aggressive post-training quantization 的 bound 還強，甚至是在 quantization 被假設零誤差的情況下也是如此。摘要沒有給出具體 bound 數值，所以比較安全的讀法是：方法在理論保證上有明顯改善，但細節要看全文。\u003C\u002Fp>\u003Cp>第四，這個 bound 會隨著規模增大而變緊，特別是在 compute-optimal regime 裡，因為模型相對資料集更可壓縮。摘要也提到，這個 code 能預測模型在多個 epoch 訓練下會逐漸 overfit。最後，它還能把可學習資訊和資料中的隨機內容分開，並指出低熵文字比高熵影像包含更多可學習結構。\u003C\u002Fp>\u003Ch2>對開發者有什麼意義\u003C\u002Fh2>\u003Cp>如果你在做大模型研究、訓練評估或模型選型，這篇的價值在於它提供了另一個看模型品質的角度。不是只看 loss，也不是只看參數量，而是看模型能不能被一個更短的 code 說明清楚。\u003C\u002Fp>\u003Cp>這對研究流程很有用。假設兩個模型 loss 差不多，但在 requential coding 下的可壓縮程度差很多，那短碼模型可能代表它學到的是更可重用的表示，而不是更會背資料。這種差異在實作上不一定直接轉成產品指標，但對研究判斷很有幫助。\u003C\u002Fp>\u003Cp>PAC-Bayes 那一段也值得注意。摘要主張，這種 code 能為 billion-parameter LLM 帶來更強的泛化保證。即使沒有公開數字，這仍然表示壓縮式理論沒有在現代模型尺度失效，至少在作者的框架裡還能繼續發揮作用。\u003C\u002Fp>\u003Ch2>限制與還沒回答的問題\u003C\u002Fh2>\u003Cp>不過，這篇摘要也留下不少空白。它沒有講實作成本、訓練時間、額外記憶體需求，也沒有說這套 teacher-student 選樣機制在大規模訓練時會不會很重。對工程師來說，這些才是會不會用得上的關鍵。\u003C\u002Fp>\u003Cp>摘要也沒有提供廣泛的下游任務結果，所以我們還不能把它直接解讀成一個 production-ready 的壓縮流程。它比較像是一個理論工具，重點放在 code length、generalization bound，以及如何定義「學到的資訊」，而不是延遲、吞吐量或部署成本。\u003C\u002Fp>\u003Cp>但它的概念轉向很清楚。requential coding 問的不是「權重能縮多小」，而是「要用多短的描述，才能說明模型學到了什麼」。對正在做 foundation model 的開發者來說，這是一個值得記住的提問方式。\u003C\u002Fp>\u003Ch2>總結\u003C\u002Fh2>\u003Cp>Requential coding 把訓練壓縮的焦點，從資料本身移到模型之間的分歧。它用 student 自己的分布來產生樣本，再由 teacher 決定哪些樣本值得被編碼，因此能得到更短的 code，並在摘要聲稱下帶來更強的 PAC-Bayes 泛化保證。不過，這份摘要沒有公開完整 benchmark 數字，也沒有交代實作成本，所以目前最適合把它看成一個新的理論視角，而不是已經定案的工程方案。\u003C\u002Fp>\u003Cul>\u003Cli>它把壓縮目標改成「模型學到什麼」，不是只看參數量。\u003C\u002Fli>\u003Cli>它用自生成樣本，把 code 成本集中在 teacher 與 student 的分歧。\u003C\u002Fli>\u003Cli>它把壓縮理論延伸到十億參數級 LLM 的泛化分析。\u003C\u002Fli>\u003C\u002Ful>","Requential coding 用學生模型自己產生的樣本來壓縮訓練過程，讓 code 長度更能反映模型真的學到的結構。","arxiv.org","https:\u002F\u002Farxiv.org\u002Fabs\u002F2607.11883",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1784008983073-ih4s.png","research","zh","36ffaa08-5d6e-4c75-9eb7-db07118d7181",[17,18,19,20,21],"requential coding","prequential coding","PAC-Bayes","model compression","generalization bound",[23,24,25],"requential coding 用 student 自生成樣本來編碼訓練過程。","摘要主張它比 prequential coding 更短，也能得到更強的泛化保證。","這篇更像理論工具，摘要沒有公開完整 benchmark 或實作成本。",0,"2026-07-14T06:02:28.52716+00:00","2026-07-14T06:02:28.516+00:00","d40d2578-5c39-4d75-b6fd-4dfe5e506a8c",{"tags":31,"relatedLang":32,"relatedPosts":36},[],{"id":15,"slug":33,"title":34,"language":35},"requential-coding-model-compression-self-generated-data-en","Requential Coding Compresses What Models Actually Learn","en",[37,43,49,55,61,67],{"id":38,"slug":39,"title":40,"cover_image":41,"image_url":41,"created_at":42,"category":13},"ea876eb8-0d19-4a43-ab19-c6948188203a","anthropics-j-space-useful-not-breakthrough-en-zh","Anthropic 的 J-space 很有用，但還不是大家想要的突破","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1784016184250-h17t.png","2026-07-14T08:02:30.780734+00:00",{"id":44,"slug":45,"title":46,"cover_image":47,"image_url":47,"created_at":48,"category":13},"e81d26c6-780b-4688-b8da-464af45f209c","low-dimensional-theory-transformer-reasoning-zh","Transformer 推理可落在低維流形","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1784012582530-83yn.png","2026-07-14T07:02:35.351024+00:00",{"id":50,"slug":51,"title":52,"cover_image":53,"image_url":53,"created_at":54,"category":13},"5e470c45-6311-49f4-a6ca-620c610e116b","metacognition-in-llms-foundations-progress-opportunities-zh","LLM 自我覺察研究地圖","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1784010785747-eoh1.png","2026-07-14T06:32:32.269184+00:00",{"id":56,"slug":57,"title":58,"cover_image":59,"image_url":59,"created_at":60,"category":13},"a1c5b218-d9ff-4e46-9c58-07d0fe5152fc","vlm-accuracy-visual-cognitive-errors-decade-zh","VLM 描述複雜場景變準了","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783926189859-c95z.png","2026-07-13T07:02:36.585294+00:00",{"id":62,"slug":63,"title":64,"cover_image":65,"image_url":65,"created_at":66,"category":13},"2ec5f4bf-f90a-4dc9-98e0-dc8189169e56","visual-pretraining-language-models-zh","視覺預訓練勝過純文字","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783924384413-4ob9.png","2026-07-13T06:32:35.520894+00:00",{"id":68,"slug":69,"title":70,"cover_image":71,"image_url":71,"created_at":72,"category":13},"8b8f7b87-7e93-415f-a52d-56613e17b278","phinn-eeg-topology-dream-state-eeg-zh","PHINN-EEG 用拓撲看夢境 EEG","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783922588253-kq48.png","2026-07-13T06:02:34.287269+00:00",[74,79,84,89,94,99,104,109,114,119],{"id":75,"slug":76,"title":77,"created_at":78},"f18dbadb-8c59-4723-84a4-6ad22746c77a","deepmind-bets-on-continuous-learning-ai-2026-zh","DeepMind 押注 2026 連續學習 AI","2026-03-26T08:16:02.367355+00:00",{"id":80,"slug":81,"title":82,"created_at":83},"f4a106cb-02a6-4508-8f39-9720a0a93cee","ml-papers-of-the-week-github-research-desk-zh","每週 ML 論文清單，為何紅到 GitHub","2026-03-27T01:11:39.284175+00:00",{"id":85,"slug":86,"title":87,"created_at":88},"c4f807ca-4e5f-47f1-a48c-961cf3fc44dc","ai-ml-conferences-to-watch-in-2026-zh","2026 AI 研討會投稿時程整理","2026-03-27T01:51:53.874432+00:00",{"id":90,"slug":91,"title":92,"created_at":93},"cf046742-efb2-4753-aef9-caed5da5e32e","adaptive-block-scaled-data-types-zh","IF4：神經網路量化的聰明選擇","2026-03-31T06:00:36.990273+00:00",{"id":95,"slug":96,"title":97,"created_at":98},"53a0dc54-0371-4e40-8d5e-74e94a73840c","geometry-aware-similarity-metrics-for-neural-representations-zh","超越距離測量：用微分幾何重新理解神經網路","2026-03-31T06:01:01.241968+00:00",{"id":100,"slug":101,"title":102,"created_at":103},"fee7d472-a775-4b1d-bbc2-1e8bca1bbf8b","on-the-fly-repulsion-in-the-contextual-space-for-rich-divers-zh","讓AI繪圖更有創意：用排斥力提升生成多樣性","2026-03-31T06:01:25.439673+00:00",{"id":105,"slug":106,"title":107,"created_at":108},"a9901203-d69b-447b-8854-15d14eab32b4","vision-aided-beam-prediction-cnn-eca-zh","影像輔助波束預測升級 CNN","2026-04-01T10:00:25.8073+00:00",{"id":110,"slug":111,"title":112,"created_at":113},"b55e7dd4-0a24-4b3d-804d-b0309a03f498","triple-band-fss-mimo-antenna-sub-6-ghz-zh","三頻 FSS MIMO 天線瞄準 sub-6 GHz","2026-04-01T13:18:36.857305+00:00",{"id":115,"slug":116,"title":117,"created_at":118},"f68290bd-e7f3-4b30-ba22-dcd4e0130a66","openclaw-1299-repos-eight-weeks-analysis-zh","OpenClaw 1299 個 Repo 的資料解讀","2026-04-02T05:03:45.208411+00:00",{"id":120,"slug":121,"title":122,"created_at":123},"ed9f80eb-eb02-4d35-8ad4-0ddf428751dd","beam-coherence-aware-combining-mmwave-mimo-zh","毫米波 MIMO 的雙階合併法","2026-04-02T05:27:26.897188+00:00"]