標籤
benchmark
Benchmark 不只是比誰分數高，而是用固定任務檢查模型、代理與編譯器在真實條件下的穩定性。從長鏈推理、資料視覺化工作流到程式碼安全與效能，基準測試也在考驗方法是否可信。
45 篇文章
VDBBench 把成本納入主指標
Zilliz 更新開源 VDBBench，把向量資料庫評測從只看速度，改成同時看成本。這讓團隊能用每美元效能比較不同方案，也更貼近實際採購與上線需求。
Benchmark 分數不等於帳單
我拆解 Qwen 3.8-Max 和 Claude Opus 5 的例子，說明 benchmark 分數怎麼把時間成本藏進去，最後讓 API 帳單失真。
教 LLM 何時信上下文
MIST 與 SCOPE 讓模型更會分辨可信上下文，減少被誤導的錯答，同時保住正確上下文帶來的效益。
ExtractBench 盯住企業文件抽取
ExtractBench 把企業文件抽取拆成準確、完整、可追溯與成本四件事一起評估。
黃仁勳把 AGI 門檻說低了
4 種 AGI 定義差異，從測驗分數到百億級公司，拆解黃仁勳為何把門檻說得更低。
Systema把虚拟细胞评估改成另一套玩法
我拆开Systema这套评估法，讲清虚拟细胞为什么高分不等于真懂扰动。
Gemini 3.5 Flash 讓你買速度
我把 BenchLM 上的 Gemini 3.1 Pro 與 3.5 Flash 拆成可直接決策的版本：誰當預設、誰走升級路徑、怎麼用數字做 routing。
用多輪互動測 LLM 記憶
這篇論文把記憶從附帶能力變成評測主角，用逐步多輪互動來看 LLM agent 會不會記住前文。
Kimi K3 編碼代理評測操作指南
這篇教你用同一套任務與評測框架，實際比較 Kimi K3 與其他編碼代理，最後算出可重現的接受率與每次接受變更成本。
Grok 4.5 登上 Cursor，$2/$6 開賣
Cursor 已把 xAI 的 Grok 4.5 放進桌面版、網頁、iOS、CLI 與 SDK，並公布 $2/$6 定價與多項 benchmark。
Grok 4.5 的上升靠這 5 個數字
Grok 4.5 靠 5 個數字拉開聲勢：7 月 8 日發布、SWE Marathon 29%、80 TPS、每百萬 token 低價、FrontierSWE 排名第二。
LLM 自我覺察研究地圖
這篇綜述整理了 LLM 元認知的測量、提升與應用，並點出目前仍缺少一致定義與可靠評估。
GPT-5.6 三層定價，Sol 先拿下編碼榜
Artificial Analysis 評測 GPT-5.6 Sol、Terra、Luna，Sol 在編碼測試領先，智能分數逼近 Claude Fable 5，並加入 cache-write 計價。
Mistral Small 2603：256K 上下文很能打
Mistral Small 2603 把 256K context、每百萬 input $0.15、output $0.60 放在一起，適合長文件、工具呼叫與結構化輸出，但科學與推理基準仍有明顯天花板。
RevengeBench：反推遊戲政策的測試框架
RevengeBench把隱藏遊戲政策的反向工程做成可測試任務，證明主動探測能讓 LLM 更接近還原可執行策略。
Devin AI 測試與採購判讀指南
這篇指南帶你實測 Devin AI 的存取、自治能力、基準數字、定價背景與工作流程限制，並用同一套任務比較它和其他 coding agent。
SPEC CPU 2017 進入退場期
SPEC CPU 2017 將在 2026 退場，V1.1.9 則加入較低學術授權、Linux on RISC-V 支援與更完整的配置報告。
LifeSciBench 讓模型先過科研關
我拆 LifeSciBench 怎麼把生命科學模型評估拉回真實科研工作，順手給你一份可直接抄的評測模板。
Rootly 測試：Llama 4 落後編碼模型
Rootly AI Labs 用 100 筆 GitHub bug 來測 Llama 4，結果顯示它在選 PR 的編碼任務上落後於 Llama 3.3、DeepSeek v3.1 與多個 coding 模型。
Kimi K2.7-Code 主打快，但證據還不夠
Moonshot 的 Kimi K2.7-Code 加了 HighSpeed Mode，主打更快、Token 更省，但目前只有官方 benchmark 能支撐這些說法。
ArXiv這批 AI 論文都在補三件事
這批 arXiv AI 論文集中在 agent 推理、長上下文資料、以及更貼近真實工作的 benchmark 設計。
ReproRepo 用 GitHub issues 做可重現性稽核
ReproRepo 把 GitHub issues 變成可重用監督訊號，用來擴大機器學習論文的可重現性稽核。
ClinHallu 追蹤醫療 MLLM 幻覺來源
ClinHallu 把醫療多模態模型的幻覺拆成看圖、記知識、做整合三段來診斷，讓開發者能定位錯誤來源。
LLM研究工程師把後訓練做成服務
拆 Codersarts 的 on-demand LLM 後訓練服務，順手給你一份可直接複製的 eval、SFT、RLHF、alignment 模板。
EvoArena：測 LLM 代理在變動世界的記憶力
EvoArena 把 LLM 代理丟進會持續變動的環境，並用 EvoMem 的補丁式記憶來追蹤更新，測試它們能不能跟上變化。
Opus 4.8 是榜首，但不該成為預設模型
Claude Opus 4.8 在 Nate 的基準測試拿下第一，但它更適合當專家模型，不適合直接成為所有工作流的預設。
OmniGameArena 讓 VLM 遊戲代理更好比
OmniGameArena 用 12 個 UE5 遊戲與反思式評分，讓 VLM 遊戲代理不只看首輪分數，也能看改善與泛化。
LLM 在反直覺機率題翻車
這篇研究發現，LLM 在標準機率題表現很高，但遇到反直覺、改寫或帶誤導提示的題目時，準確率會明顯下滑。
Microsoft 首個推理模型怎麼看
我把 ZDNET 的模型 tracker 拆成一套可抄的評估框架，讓你不用吞完 PR 也能判斷新 AI 模型值不值得碰。
為什麼 Claude Opus 4.8 不是大新聞
Claude Opus 4.8 不是關鍵突破，而是模型發布正在變成產品更新的訊號。真正重要的，是它是否改變你的工作流、成本與可靠性。
Llama 把模型發布變成 playbook
我拆 Llama 的發布策略，整理成一份可直接套用的模型發布模板，讓你少吵 licensing，多交付。
BenchLM 2026：AI Agent 模型排行
BenchLM 2026 用 26 個基準測 AI agent 模型，重點看工具呼叫、瀏覽器、終端機和電腦控制，GPT-5.5 Pro 目前拿下驗證榜首。
2026 LLM 排行榜更新：誰領先
Vellum 於 2026 年 5 月 29 日更新 LLM 排行榜，加入新 benchmark、速度與價格比較，方便開發者按任務挑模型。
5 個開源 LLM：寫程式與成本
5 個開源 LLM 依寫程式、推理、速度、上下文與價格排序，附 2026 即時基準與選型建議。
GPT-5.5 在工程測試拿 62.5 分
OpenAI 於 2026/4/23 推出 GPT-5.5，Every 指它在 Senior Engineer Benchmark 最佳成績達 62.5，明顯領先 Opus 4.7，但仍低於人類資深工程師。
GPT-5.5 以 60 分登頂
Artificial Analysis 更新 523 款模型排行，GPT-5.5（xhigh）以 60 分拿下智能榜首，並同步顯示速度、延遲、價格與上下文窗口比較。
PEFT-Bench 讓微調比較更公平
PEFT-Bench 把 27 個 NLP 資料集與 7 種 PEFT 方法放進同一套流程，比的不只準確率，也把參數、速度和記憶體成本算進去。
EntityBench 盯住長片一致性
EntityBench 用長篇多鏡頭影片做一致性測試，檢查角色、物件與場景能不能跨鏡頭維持同一性，也提出帶記憶的基線方法 EntityMem。
為什麼 AI 基準賽在資安領域的勝利，應該讓防守方警醒
AI 資安基準的進展已顯示自主攻擊能力正在追上防守方的規劃速度，這不是實驗室新聞，而是防線時間被壓縮的警訊。
為什麼 GPT-5.5 應該成為 2026 年的預設寫碼 LLM
GPT-5.5 應該成為 2026 年的預設寫碼 LLM，因為它在公開基準的綜合表現領先，最適合作為團隊的能力上限。
DeepTest 2026 首辦車主手冊 LLM 評測
DeepTest 2026 首度把 LLM 車主手冊問答拉進競賽式評測，讓四個工具在同一任務下比對檢索能力。
DV-World 測試圖表代理真實工作流
DV-World 用試算表、視覺演化與意圖對齊三類任務，檢驗資料視覺化代理在更接近企業工作流的表現。
LongCoT：測長鏈推理，不只看答案
LongCoT 用 2,500 題測試模型能否在長鏈、互相依賴的推理步驟中保持一致。GPT 5.2 與 Gemini 3 Pro 仍低於 10%。
Claude 的 C 編譯器把基準測試搞砸了
Claude 寫的 C compiler 能編 Linux kernel，卻在 SPEC CPU2017 把效能打到只剩 GCC 的 23.6% 到 27.1%，還有一組直接當掉。
Meta Llama 4 分數風波又擴大
Meta 的 Llama 4 原本要延續開放模型聲勢，結果卻陷入評測分數爭議。最新報導指出，Meta 在發布前可能用不同模型跑不同 benchmark，讓分數看起來更好，信任問題也跟著擴大。