[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-co-lmlm-continuous-query-limited-memory-models-zh":3,"article-related-co-lmlm-continuous-query-limited-memory-models-zh":31,"series-research-3e8fbc00-9a1f-4e79-bfc2-ca933bf09eb9":74},{"id":4,"slug":5,"title":6,"content":7,"summary":8,"source":9,"source_url":10,"author":11,"image_url":12,"cover_image":12,"category":13,"language":14,"translated_content":11,"related_article_id":15,"keywords":16,"key_takeaways":23,"views":27,"created_at":28,"published_at":29,"topic_cluster_id":30},"3e8fbc00-9a1f-4e79-bfc2-ca933bf09eb9","co-lmlm-continuous-query-limited-memory-models-zh","Co-LMLM 讓 LLM 持續查知識","\u003Cp data-speakable=\"summary\">以前模型把知識塞進權重裡，現在 Co-LMLM 改成外部查知識，還能用連續向量更彈性地取回事實。\u003C\u002Fp>\u003Cul>\u003Cli>\u003Cstrong>研究機構\u003C\u002Fstrong>：arXiv 摘要未明確標註\u003C\u002Fli>\u003Cli>\u003Cstrong>核心數據\u003C\u002Fstrong>：360M scale\u003C\u002Fli>\u003Cli>\u003Cstrong>突破點\u003C\u002Fstrong>：連續查詢知識庫\u003C\u002Fli>\u003C\u002Ful>\u003Cp>\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2607.07707\">Co-LMLM: Continuous-Query Limited Memory Language Models\u003C\u002Fa> 想解的問題很直接：大型語言模型會答題，但很多知識是藏在參數裡，難更新、難控管，也不容易追溯。這篇論文提出一個替代路線，把事實留在外部記憶裡，再讓模型在生成時持續查詢，而不是把知識硬烙進權重。\u003C\u002Fp>\u003Cp>它不是單純做「檢索加強版」而已。重點在於，過去的 limited-memory language models 多半依賴關聯式知識庫和固定查詢，這讓系統很吃資料格式，也容易被\u003Ca href=\"\u002Fnews\u002Fscireasoner-structure-property-reasoning-zh\">結構\u003C\u002Fa>綁死。Co-LMLM 想把這層限制打鬆，改成更接近連續向量空間的查詢方式，讓模型能從文本型知識中抓出可讀、可追溯的內容。\u003C\u002Fp>\u003Ch2>這篇要修的是什麼痛點\u003C\u002Fh2>\u003Cp>傳統 \u003Ca href=\"\u002Ftag\u002Fllm\">LLM\u003C\u002Fa> 的問題，不只是「會不會答錯」。更麻煩的是，很多知識被寫進模型參數後，很難單獨更新。你要修一個事實，常常不是改一條資料就好，而是得重新訓練或微調，成本高，風險也高。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783578779210-wi5d.png\" alt=\"Co-LMLM 讓 LLM 持續查知識\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>有限記憶語言模型想解這件事。它們會在預訓練時把知識外化到知識庫，生成時再去查。但早期做法多半綁在 relational KB 上，也就是結構化、欄位化、關聯式的資料表示。這對百科式資料還行，遇到更雜、更像自然語言的來源就沒那麼順手。\u003C\u002Fp>\u003Cp>Co-LMLM 的切入點，就是把這個接口改掉。它保留「知識在外部」的優點，但不再要求查詢一定要長得像傳統 KB lookup。對開發者來說，這代表模型能更自然地對接文本來源，而不是只能吃乾淨的三元組或固定 schema。\u003C\u002Fp>\u003Ch2>Co-LMLM 到底怎麼運作\u003C\u002Fh2>\u003Cp>Co-LMLM 的全名是 continuous-query limited memory language model。名字已經點出核心：查詢是 continuous 的，不是離散的。論文描述的是一種把 continuous keys 和 textual knowledge values 配對的知識庫設計，和先前的 relational KB 形式有明顯差異。\u003C\u002Fp>\u003Cp>白話一點說，模型在生成時會產生向量查詢，而且這個查詢成本很低。因為查詢是連續向量，不是硬編碼的符號規則，所以模型在找相關事實時有更大彈性。查回來的內容仍然是文字，這很重要，因為最後輸出的知識可以直接被人讀懂，也比較容易做歸因。\u003C\u002Fp>\u003Cp>這個設計的價值在於，它不是把檢索當成旁邊的小工具，而是把檢索接口本身改成可學習的連續形式。模型既沒有把所有事實都塞進參數，也沒有被迫走一條很死板的符號查詢路線。它站在中間：知識外掛，但查詢方式更像神經模型會用的表示空間。\u003C\u002Fp>\u003Cp>論文還加了一條 annotation pipeline，用來標註任意文本中的 free-form factual spans。這一點很關鍵，因為它把資料來源從 Wikipedia 這種較規整的場域，擴到更一般的文本。對訓練資料工程來說，這不是小修小補，而是直接影響你能不能把方法搬到更廣的語料上。\u003C\u002Fp>\u003Ch2>它實際證明了什麼\u003C\u002Fh2>\u003Cp>根據摘要，Co-LMLM 在 Wikipedia 和 FineWeb-Edu 上做預訓練，並且在多個模型規模下評估。結果方向很清楚：它在 perplexity 和 factual precision 上，都優於先前的 LMLM 與一般 LLM。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783578781166-rrjp.png\" alt=\"Co-LMLM 讓 LLM 持續查知識\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>摘要裡有一個比較具體的點：在 360M scale 時，這個模型能用比某些「多 40 倍資料」預訓練的模型還低的 perplexity。這表示它不只是靠堆資料硬撐，而是檢索式記憶設計本身可能真的有幫助。\u003C\u002Fp>\u003Cp>另一個摘要提到的結果是 SimpleQA-verified performance。論文聲稱它的表現和 gpt-4o-mini 相近，還高於 \u003Ca href=\"\u002Ftag\u002Fclaude\">Claude\u003C\u002Fa> Sonnet 4.5。這類比較很吸睛，但就摘要本身來看，沒有把完整 \u003Ca href=\"\u002Ftag\u002Fbenchmark\">benchmark\u003C\u002Fa> 表、精確數字與評測流程全部公開出來，所以目前能確認的是趨勢，不是完整細節。\u003C\u002Fp>\u003Cp>換句話說，這篇摘要已經把方向講得很明白：連續查詢的 limited-memory 架構，不只保住了外部知識的可控性，還在精度上交出不錯的結果。只是如果你要判斷它是否能穩定複現、是否適合上線，還是得回到論文正文看更多數據。\u003C\u002Fp>\u003Cul>\u003Cli>摘要明確說它優於 prior LMLMs 和 vanilla LLMs。\u003C\u002Fli>\u003Cli>360M scale 下，使用較少資料也能拿到更低 perplexity。\u003C\u002Fli>\u003Cli>SimpleQA-verified 表現被宣稱接近 gpt-4o-mini、優於 Claude Sonnet 4.5。\u003C\u002Fli>\u003C\u002Ful>\u003Ch2>對開發者代表什麼\u003C\u002Fh2>\u003Cp>如果你在做需要事實正確性的系統，這篇的訊號很直接：知識不一定要塞進權重裡。把知識外掛，理論上更容易更新、審核、替換，也更方便做知識控管。摘要也明講，這是傳統 LLM 做不到的能力之一。\u003C\u002Fp>\u003Cp>對產品團隊來說，這種架構的吸引力在於可維護性。當知識放在外部記憶，理論上你可以針對資料源做調整，而不是每次都重新訓練整個模型。這對常見的 FAQ、知識助理、企業內部問答類場景，都是很實際的工程考量。\u003C\u002Fp>\u003Cp>對研究與基礎設施團隊來說，更值得看的其實是查詢接口。continuous query 讓模型不必仰賴固定的離散查找語言，對處理雜亂文本來源可能更有彈性。再加上 free-form span tagging 的流程，代表它想處理的不是只有百科條目，而是更廣義的文本知識。\u003C\u002Fp>\u003Cp>但這裡也要保留一點現實感。摘要雖然講了 factual precision，但沒有交代 latency、記憶體占用、檢索成本，這些都是要進 production 時一定會問的問題。你可以看到它在方法上很有想法，但還不能直接把它當成可\u003Ca href=\"\u002Fnews\u002Fdocker-right-default-mariadb-setup-zh\">部署方\u003C\u002Fa>案。\u003C\u002Fp>\u003Ch2>限制和還沒回答的問題\u003C\u002Fh2>\u003Cp>第一個限制是，摘要沒有公開完整 benchmark 細節。你看得到它說自己贏了，但看不到完整表格、評測設定和更細的誤差分析。這對研究判讀很重要，因為很多時候差距到底來自方法、資料，還是規模，摘要不會一次講完。\u003C\u002Fp>\u003Cp>第二個問題是，continuous-query 的效果有多少真的是來自查詢機制本身，還有多少是 annotation pipeline、資料選擇或 scale 帶來的。這些變因如果沒有拆開看，很難知道真正的貢獻點在哪裡。\u003C\u002Fp>\u003Cp>第三個問題是知識歸因怎麼做。摘要說它能回傳 human-readable 的知識，也強調 attributable retrieval，但沒有說明歸因是怎麼量測、怎麼保證。對需要合規、審計或可追蹤性的系統，這會是很關鍵的落差。\u003C\u002Fp>\u003Cp>不過，這篇的主軸還是很清楚：它不是要把 LLM \u003Ca href=\"\u002Fnews\u002Fdocker-made-containers-the-default-and-was-a-mistake-zh\">變成\u003C\u002Fa>更會背答案的機器，而是要把知識查詢做得更像可學習、可控的外部記憶系統。對\u003Ca href=\"\u002Ftag\u002F台灣開發者\">台灣開發者\u003C\u002Fa>來說，這代表一個很實際的方向——如果你在意事實更新、知識來源與輸出可追溯性，檢索設計本身就可能是架構核心，而不是附加功能。\u003C\u002Fp>\u003Cp>Co-LMLM 的價值，不在於它把所有問題都解了，而在於它把「知識一定要寫進權重嗎」這個老問題，往更工程化的答案推了一步。對很多需要穩定知識輸出的應用，這種外部記憶、連續查詢的中間路線，可能比純參數化模型更值得繼續追。\u003C\u002Fp>","Co-LMLM 把固定 KB 查詢改成連續向量查詢，讓模型能在不把事實寫進權重的前提下，提高事實精準度。","arxiv.org","https:\u002F\u002Farxiv.org\u002Fabs\u002F2607.07707",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783578779210-wi5d.png","research","zh","5d1770de-d17d-455a-a593-301ee0974526",[17,18,19,20,21,22],"continuous-query","limited memory language model","knowledge base","factual precision","retrieval","perplexity",[24,25,26],"Co-LMLM 把固定 KB 查詢改成連續向量查詢，讓檢索更彈性。","摘要宣稱它在 360M scale 下能以更少資料拿到更低 perplexity，且 factual precision 更好。","目前摘要沒有完整 benchmark 細節，實際部署仍需看 latency、成本與歸因設計。",0,"2026-07-09T06:32:30.404486+00:00","2026-07-09T06:32:30.391+00:00","0c35a120-52fc-41fc-afa3-d404eb934158",{"tags":32,"relatedLang":33,"relatedPosts":37},[],{"id":15,"slug":34,"title":35,"language":36},"co-lmlm-continuous-query-limited-memory-models-en","Co-LMLM lets LMs query knowledge continuously","en",[38,44,50,56,62,68],{"id":39,"slug":40,"title":41,"cover_image":42,"image_url":42,"created_at":43,"category":13},"ed59677b-bc56-4c01-b1e8-163b6c6744dc","analysis-driven-transformer-linearization-zh","線性化 Transformer 但不掉品質","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783580571758-gqu7.png","2026-07-09T07:02:26.210405+00:00",{"id":45,"slug":46,"title":47,"cover_image":48,"image_url":48,"created_at":49,"category":13},"2b8e7059-ee9e-40a7-9f1f-d80dbf122859","scireasoner-structure-property-reasoning-zh","SciReasoner讓結構變成可讀證據","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783576975609-6pfl.png","2026-07-09T06:02:30.862628+00:00",{"id":51,"slug":52,"title":53,"cover_image":54,"image_url":54,"created_at":55,"category":13},"229eabd7-a626-4b82-ac6e-f16f723c7bef","rethinking-indic-ai-cultural-heritage-zh","用文化保存重想 Indic AI","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783494183169-at8q.png","2026-07-08T07:02:29.874426+00:00",{"id":57,"slug":58,"title":59,"cover_image":60,"image_url":60,"created_at":61,"category":13},"e19179c5-a725-462f-ba2a-7a8b541f1160","graph-convolutional-attention-graph-denoising-zh","GCA 讓圖去噪更懂頻譜","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783492380587-69kv.png","2026-07-08T06:32:32.22482+00:00",{"id":63,"slug":64,"title":65,"cover_image":66,"image_url":66,"created_at":67,"category":13},"e74557a8-413d-4f61-b644-5d398237e3d0","elsa3d-elastic-semantic-anchoring-3d-zh","ELSA3D 讓 3D 模型按尺度推理","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783490574277-bz8g.png","2026-07-08T06:02:31.988829+00:00",{"id":69,"slug":70,"title":71,"cover_image":72,"image_url":72,"created_at":73,"category":13},"be6cb41d-ace9-4841-b335-2d017de565cc","leanstral-1-5-open-source-math-models-useful-zh","Leanstral 1.5 證明開源數學模型已經能上場","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783449168809-rp22.png","2026-07-07T18:32:18.210433+00:00",[75,80,85,90,95,100,105,110,115,120],{"id":76,"slug":77,"title":78,"created_at":79},"f18dbadb-8c59-4723-84a4-6ad22746c77a","deepmind-bets-on-continuous-learning-ai-2026-zh","DeepMind 押注 2026 連續學習 AI","2026-03-26T08:16:02.367355+00:00",{"id":81,"slug":82,"title":83,"created_at":84},"f4a106cb-02a6-4508-8f39-9720a0a93cee","ml-papers-of-the-week-github-research-desk-zh","每週 ML 論文清單，為何紅到 GitHub","2026-03-27T01:11:39.284175+00:00",{"id":86,"slug":87,"title":88,"created_at":89},"c4f807ca-4e5f-47f1-a48c-961cf3fc44dc","ai-ml-conferences-to-watch-in-2026-zh","2026 AI 研討會投稿時程整理","2026-03-27T01:51:53.874432+00:00",{"id":91,"slug":92,"title":93,"created_at":94},"cf046742-efb2-4753-aef9-caed5da5e32e","adaptive-block-scaled-data-types-zh","IF4：神經網路量化的聰明選擇","2026-03-31T06:00:36.990273+00:00",{"id":96,"slug":97,"title":98,"created_at":99},"53a0dc54-0371-4e40-8d5e-74e94a73840c","geometry-aware-similarity-metrics-for-neural-representations-zh","超越距離測量：用微分幾何重新理解神經網路","2026-03-31T06:01:01.241968+00:00",{"id":101,"slug":102,"title":103,"created_at":104},"fee7d472-a775-4b1d-bbc2-1e8bca1bbf8b","on-the-fly-repulsion-in-the-contextual-space-for-rich-divers-zh","讓AI繪圖更有創意：用排斥力提升生成多樣性","2026-03-31T06:01:25.439673+00:00",{"id":106,"slug":107,"title":108,"created_at":109},"a9901203-d69b-447b-8854-15d14eab32b4","vision-aided-beam-prediction-cnn-eca-zh","影像輔助波束預測升級 CNN","2026-04-01T10:00:25.8073+00:00",{"id":111,"slug":112,"title":113,"created_at":114},"b55e7dd4-0a24-4b3d-804d-b0309a03f498","triple-band-fss-mimo-antenna-sub-6-ghz-zh","三頻 FSS MIMO 天線瞄準 sub-6 GHz","2026-04-01T13:18:36.857305+00:00",{"id":116,"slug":117,"title":118,"created_at":119},"f68290bd-e7f3-4b30-ba22-dcd4e0130a66","openclaw-1299-repos-eight-weeks-analysis-zh","OpenClaw 1299 個 Repo 的資料解讀","2026-04-02T05:03:45.208411+00:00",{"id":121,"slug":122,"title":123,"created_at":124},"ed9f80eb-eb02-4d35-8ad4-0ddf428751dd","beam-coherence-aware-combining-mmwave-mimo-zh","毫米波 MIMO 的雙階合併法","2026-04-02T05:27:26.897188+00:00"]