onepot-Bench 0：化學模型要會看實驗室

以前化學模型只要答對題目就算強，現在 onepot-Bench 0 要看它能不能在實驗室情境下做對決策。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：摘要無公開 benchmark 數字
• 突破點：三段式化學評測

化學模型的問題，從來不只是在題目上答對。真正進到實驗室，模型還要懂數值推理、知道什麼該拒答，甚至要能碰到和濕實驗相關的預測。這篇論文就是在補這個落差。

作者提出 onepot-Bench 0: towards lab-aware in silico chemistry benchmarks，想把化學模型的評測從「會不會背答案」拉到「能不能支援實驗決策」。它不是單純做一個化學問答集，而是把實驗室可用性放進考題設計裡。

這篇論文想解的痛點

摘要先點出一個很現實的問題：現有評測常常太偏一般性解題、公開資料記憶，或是單一任務準確率。這對化學來說不夠，因為化學工作不是只看語言能力，而是要把推理、領域直覺和實驗限制一起考慮。

換句話說，一個模型可能在公開 benchmark 上看起來不錯，但一旦拿去協助實驗規劃、執行，或事後分析，就可能變得很脆弱。這種落差在研究場景裡很常見，也正是作者想處理的地方。

另一個痛點是資料污染。摘要提到，很多既有評測依賴公開資料，而這些資料可能已經進到模型訓練語料裡。這會讓分數看起來偏高，卻不一定代表模型真的懂。onepot-Bench 0 其中一部分就刻意用作者實驗室產生的私有資料，想降低這種問題。

onepot-Bench 0 怎麼設計

這個 benchmark 不是一張單一試卷，而是三組互補測試。作者把化學能力拆成三層，從基礎語言與數值能力，一路到安全邊界與反應預測。

第一組是 ChemAbacus。它測的是 tool-free cheminformatics literacy 和 numerical reasoning。重點在於，模型不能靠外部工具或計算管線幫忙，要自己處理化學語境裡的數字與表示法。這很像在看模型有沒有基本的化學數感。

第二組是 SynthRefusal。這組看的是 safety 和 refusal behavior，涵蓋 benign、controlled、designer-drug targets。也就是說，評測不是只問模型「能不能回答」，還要看它「該不該回答」以及能不能守住邊界。

第三組是 SynthBench。它用私有實驗資料來做 reaction-outcome prediction 和 catalyst selection。這一組最貼近濕實驗，因為它直接碰到反應結果預測和催化劑選擇，而這些都是實驗室裡真的會遇到的決策。

三組放在一起，作者想測的是 basic competency、reliability，還有 deeper knowledge。這個切法很實際，因為它把「會推理」和「能不能用在實驗室」分開了。很多模型前者有分數，後者未必過關。

這篇論文實際證明了什麼

先講清楚：摘要沒有公開完整 benchmark 數字，也沒有列出各模型的分數、排名或相對提升。所以如果你想找精確 accuracy、勝率或 SOTA 數字，這份摘要本身沒有提供。

但它仍然證明了一件事：化學模型的評測可以，也應該，往更貼近實驗室的方向設計。作者不是只在做一般性的化學 QA，而是把工具外推能力、拒答、安全性，以及私有資料上的反應預測一起納入。

這個方法論上的訊號很重要。因為 benchmark 會反過來影響模型訓練方向。當評測開始重視實驗室真實需求，模型開發者就不能只追求表面分數，而要想辦法讓模型在安全、推理和實作上都站得住腳。

摘要也透露出一個很明確的立場：公開資料上的熟悉度，不等於實驗室可用性。onepot-Bench 0 想測的不是模型有沒有看過類似題，而是它能不能在更接近真實工作流的情境裡做出合理判斷。

對開發者代表什麼

如果你在做化學相關的 LLM、代理系統，或是任何會進到研發流程的模型，這篇的啟發很直接：不要只看總分。你需要拆開看模型在不同層面的表現，像是基礎化學理解、數值推理、拒答行為，還有反應層級的預測能力。

這也表示安全評測不能放到最後才做。對化學模型來說，拒答不是附加功能，而是核心能力之一。尤其當輸入涉及敏感目標時，模型是否能守住界線，會直接影響它能不能進入真實工作流。

另外，摘要提到 private experimental data，這對評測設計很有啟發。用私有實驗資料可以降低資料洩漏和記憶答案的風險，也比較接近真實 lab work。但代價是，外部團隊可能比較難完全重現或直接對比結果。這是它的強項，也是限制。

所以，onepot-Bench 0 比較像是一個方向宣告：評測化學模型，不能只問它會不會講化學；要問它能不能在實驗室裡幫得上忙，而且不會亂幫。

限制與還沒回答的問題

最大的限制很單純：摘要沒給結果。你看不到哪一類模型表現最好，也看不到這三個子測試的難度分布，更不知道模型到底是卡在數值推理、拒答，還是反應預測。

第二個限制是資料範圍。因為 SynthBench 用的是作者實驗室的私有實驗資料，外界會想知道這些資料有多代表性。它能不能反映其他實驗室、其他合成條件，摘要沒有交代。

第三個限制是範圍本身。這套 benchmark 針對的是 synthetic chemistry capabilities relevant to wet-lab execution，焦點很明確，但也意味著它不是全能型科學推理測試。它回答的是「化學模型能不能支援實驗室」，不是「模型能不能代表所有科學能力」。

即便如此，這篇還是把一個常被忽略的缺口講得很清楚：模型在公開題庫上贏，不代表它在實驗室裡可靠。對台灣做化學自動化、材料研發、或模型輔助實驗設計的團隊來說，這種評測思路會比單純追求高分更接近真正需求。

總結來看，onepot-Bench 0 的價值不在於它現在公開了多少分數，而在於它把化學模型的評測標準往「實驗室可用」推了一步。這一步很小，但方向很重要。

• onepot-Bench 0 把化學評測拆成數值推理、拒答安全、反應預測三塊。
• 摘要強調私有實驗資料，可降低公開資料污染的風險。
• 目前摘要沒有 benchmark 數字，重點在評測設計而非分數。