UniClawBench：活體任務測主動式代理

400 題雙語活體任務顯示，主動式代理不能只看靜態分數，還得用能力導向、逐步檢查的方式評估。

• 研究機構：HKU-MMLab
• 核心數據：400 題雙語真實任務
• 突破點：活體 Docker 逐步評測

這篇論文要證明的事很直接：主動式代理不能再只靠靜態題庫來測。當代理開始碰到真實工具、跨回合互動、使用者回饋與多平台協作時，傳統評測很容易把真正的失敗原因藏起來。UniClawBench 就是要把這個洞補上。

UniClawBench: A Universal Benchmark for Proactive Agents on Real-World Tasks 把重點放在「能力導向」而不是「情境導向」。作者認為，現在很多代理評測把模型能力和框架設計混在一起，最後只知道系統失敗了，卻不知道是模型不夠強，還是代理框架本身有問題。

這篇在解什麼痛點

痛點其實很常見。很多 agent benchmark 仍然建立在 sandbox 環境，或只看單回合表現。這種測法適合做最基本的驗證，但不太像真實世界。主動式代理在實務上要做的事，通常不是回答一句話就結束，而是要一路探索、記住上下文、讀懂多模態資訊，還要在多輪互動裡持續修正。

問題在於，如果測試設計太粗，失敗就會變成一個模糊結果。你不知道它是工具用不好、探索不夠、長上下文推理不行，還是跨平台協調出了問題。對開發者來說，這種資訊太少，debug 會很慢，迭代也很難精準。

UniClawBench 的設計思路，就是把這些能力拆開看。它不是單純問「這個任務有沒有做完」，而是想知道代理到底卡在哪一種能力上。

方法怎麼設計

這個 benchmark 的核心，是五個基礎能力：Skill Usage、Exploration、Long-Context Reasoning、Multimodal Understanding、Cross-Platform Coordination。這五類不是裝飾用的分類，而是作者拿來對應代理真實工作流程的骨架。換句話說，它想把失敗對準更具體的能力缺口。

在這五個能力之下，作者建立了 400 題雙語真實任務。摘要沒有公開語言配對、題目分布或難度比例，所以這些細節我們無法從原文摘要補出來。不過可以確定的是，這不是單純的靜態問答集，而是要模擬動態、持續進行的代理行為。

另一個重點是執行環境。UniClawBench 不是靠預先錄好的答案來評分，而是在 live Docker containers 裡跑代理。論文還提到，完成狀態會用細粒度的 step-by-step checkpoints 追蹤。這對工程師很重要，因為它代表評測不只看最後有沒有成功，也能看到中途進度。

評測流程還是閉環的。系統會用 executor agent、hidden supervisor agent 和 user agent 來模擬多輪人類回饋，而且不會把 grading criteria 直接暴露出去。這可以避免很多 agent benchmark 常見的問題：評分邏輯太透明，或任務流程沒有真的逼系統去回應回饋。

論文實際證明了什麼

先講清楚，摘要沒有公開完整 benchmark 數字。沒有 accuracy、沒有 win rate、也沒有 throughput 之類的量化結果，所以我們不能從這份摘要整理出 leaderboard 式的比較。

但論文的結論不是空泛口號。摘要明確表示，作者會在多種 agent framework 下評估目前的 state-of-the-art models，目的就是把「模型本身的能力」跟「框架設計」分開看。結果顯示，在真實世界環境裡，模型能力與 agent framework 的選擇會一起影響表現。

這個結論對實作很有感。它表示，代理表現差，不一定只是模型不夠強。你換一個更大的模型，問題可能還在，因為 orchestration、feedback loop、context 管理、工具調用方式，都可能是瓶頸。

摘要也提到 benchmark 和 code 都已公開。這代表其他研究者或工程團隊，理論上可以用同一套任務與流程去重現設定，拿來做後續比較。

對開發者代表什麼

如果你在做會碰工具、碰檔案、碰多步驟流程的 agent，這篇的方向很實用。很多系統在單回合測試裡看起來很正常，但一旦要跨回合維持狀態、自己探索環境，或根據使用者回饋修正行為，就很容易出錯。

UniClawBench 也在提醒大家，agent 評測不是單純的 model problem。框架設計本身就會改變結果。對要上線代理產品的團隊來說，這代表測試不能只看模型輸出，還要一起看 planner、tool layer、feedback loop，以及 progress 是怎麼被量化的。

這篇摘要也有幾個明顯限制。它沒有提供 benchmark 分數、沒有 ablation、沒有任務範例，也沒有說 400 題彼此之間的難度差異。雙語設計會不會影響分析，也無法從摘要判斷。至於 live Docker 環境是否會帶來重現性成本，摘要同樣沒有交代。

但即使如此，這個方向仍然有價值。它把注意力從靜態 demo 拉回到更接近真實營運的評測場景。對開發者來說，這就是從「看起來會做事」走向「真的能被量測、被 debug、被持續改善」。

結論

UniClawBench 提出一套更貼近實務的主動式代理評測方式：用能力導向的任務設計、live execution 和閉環回饋，來測真實工作中的表現。摘要沒有給出完整數字，但它清楚指出，模型品質與代理框架設計都要一起看。

• 它把主動式代理放進真實、動態的任務情境，而不是只看靜態 sandbox。
• 它用五種核心能力與 live Docker checkpoints 來追蹤進度。
• 它強調模型強度與框架設計都會影響真實表現。