教 LLM 何時信上下文

四種對照條件讓模型學會選擇性信任上下文，減少被誤導帶歪，同時保留正確上下文的幫助。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：每個推理題有 4 種對照條件
• 突破點：選擇性信任訓練

這篇論文要解的，不是單純「怎麼讓 LLM 不吃錯資料」，而是更細的問題：模型到底該什麼時候信上下文，什麼時候不要信。對做檢索增強、工具呼叫、文件問答的人來說，這個差別很大。因為外部上下文通常有用，但只要混進一段誤導文字，原本正確的答案就可能整個翻車。

作者的觀點很直接。只測「壞上下文」不夠。你可能訓練出一個很會拒絕上下文的模型，看起來穩，但它也會在上下文真的正確時裝死。這篇摘要要推的，是「選擇性信任」而不是「全面防禦」。

這篇在修哪個痛點

在實務系統裡，LLM 讀到的外部資訊通常不是完全可靠的。檢索回來的段落可能不相關，工具輸出可能過時，使用者貼的筆記也可能有錯。問題不是上下文一定壞，而是模型要能分辨它是不是值得用。

如果評測只看模型遇到誤導上下文時會不會答錯，很容易把「完全不信上下文」誤判成好事。這種模型在某些測試裡會顯得很穩，因為它乾脆把上下文當空氣。但這不是好系統。真正可用的模型，應該在上下文可信時能吃進去，在上下文有問題時能踩煞車。

摘要還提到，作者做了一個 comprehensive benchmark study，發現被誤導訊號影響的問題是普遍存在的。也就是說，這不是某一類模型或某一個資料集的邊角案例。不過摘要沒有公開完整 benchmark 數字，所以看不到細部表格，也不能從摘要直接推每個模型的差距。

MIST 到底在做什麼

第一個貢獻是 MIST，一個人工標註的 benchmark。它的設計重點不是只給一個「壞上下文」版本，而是把每個推理題做成四種匹配條件：clean、misleading、correct-context、irrelevant-context。這樣一來，研究者就能比較同一題在不同上下文狀態下，模型的反應到底怎麼變。

這個設計很重要，因為它把幾種常被混在一起的情況拆開了。上下文可能是正確的，可能是誤導的，也可能根本無關。你如果只測其中一種，就很難知道模型學到的是「會判斷證據」，還是只是「學會一律忽略外部資訊」。

對工程實作來說，MIST 的價值在於它逼你把評測問題問清楚。不是只問準不準，而是問：錯的上下文會不會把對的答案帶歪？對的上下文有沒有真的幫上忙？無關上下文會不會干擾模型？這些問題要分開看，才知道模型到底哪裡弱。

摘要沒有交代 MIST 的完整規模、標註成本，或題目分布，所以目前只能確定它是以人工標註、四種對照條件組成的 benchmark。其他細節，摘要沒有公開。

SC2W 在量什麼

第二個貢獻是 SC2W，一個成對指標。它量的不是一般的整體準確率，而是「一個原本在 clean 條件下答對的題目，遇到誤導上下文後，有多少會被翻成錯」。這其實就是這篇論文最在意的失敗模式：clean-correct 被 misleading 搞成 wrong。

這種指標比單看 accuracy 更貼近真實風險。因為在很多上下文系統裡，問題不在於模型完全不會答，而在於它本來答得對，卻被外部訊號硬拗歪。SC2W 就是在抓這種「被上下文帶偏」的翻車率。

摘要沒有提供 SC2W 的具體分數，也沒有列出不同模型的數字變化。所以這篇摘要能公開的重點，是指標設計本身，而不是完整 benchmark 成績。就摘要來看，作者想先把「選擇性信任」這件事量化，讓後續訓練有明確目標。

• MIST 將同一題拆成四種上下文狀態。
• SC2W 專門量誤導上下文造成的翻車。
• 評測目標是分辨信任，而不是只比誰最會拒絕。

SCOPE 怎麼訓練模型

第三個貢獻是 SCOPE，全名是 Selective Context Preference Optimization。摘要說，它會先挖出 clean-correct 和 misleading-wrong 這類失敗案例，再用標準的 Direct Preference Optimization 目標去做優化。重點不在於換了一個全新的訓練框架，而在於怎麼挑 preference pairs。

這裡最關鍵的設計是「平衡」。摘要明確說，這些偏好對是平均分布在四種條件上，而不是只盯著誤導樣本。這很重要。因為如果你只拿壞上下文來訓練，模型很可能學到過度防禦，最後連好上下文也一起拒絕。

換句話說，SCOPE 想做的不是讓模型變得更悲觀，而是更會判斷。它希望模型在遇到正確或有用的上下文時，仍然願意利用；但在上下文誤導時，能夠把它擋掉。這種訓練方式看起來很像既有的 preference optimization 管線，所以對開發者來說，門檻不是重新發明一個模型架構，而是重新設計資料對與偏好配對方式。

摘要沒有公開 SCOPE 的訓練資料量、超參數或訓練成本，所以目前只能根據文字理解它的核心機制：以 balanced DPO preference pairs 來學「何時該信上下文」。

論文實際證明了什麼

摘要的結果很清楚，但也很克制。作者說，他們在一個 comprehensive benchmark study 裡發現，模型對誤導訊號的敏感性是普遍存在的。也就是說，這不是少數模型才會有的問題，而是整體都值得處理的行為偏差。

更重要的是，SCOPE 可以明顯降低 SC2W，而且是在 popular open-sourced models 上做出來的。摘要同時強調，它沒有犧牲模型在 clean、correct 或 irrelevant context 下的準確性。這句話很關鍵，因為很多「抗噪」方法會有副作用：壞上下文少吃了，但好上下文也一起不吃。

這篇摘要沒有給出具體下降百分比，也沒有列出每個模型的 benchmark 數字，所以不能把它寫成某個明確的領先幅度。比較穩妥的說法是：作者主張 SCOPE 在降低被誤導翻車的同時，還能保住有用上下文的表現。這正是它想解的 trade-off。

從研究角度看，這代表一個評估標準的轉向。不是只問模型能不能抵抗壞訊息，而是問它能不能在「壞訊息、好訊息、無關訊息」之間做出合理選擇。這比單純追求魯棒性更接近真實應用。

對開發者有什麼影響

如果你在做 RAG、文件問答、客服助手，或者任何會把模型知識和外部證據混在一起的系統，這篇的訊息很實用。因為現場問題通常不是「模型會不會答」，而是「它會不會被一段錯上下文帶偏」。

這也提醒我們，評測不能只看單一 accuracy。你要知道壞上下文有多容易把對答案翻成錯，也要知道好上下文到底有沒有真的幫助模型。MIST 和 SC2W 的價值，就在於把這兩件事拆開量。

對訓練流程來說，SCOPE 的吸引力是它沒有要求你整套重做。摘要看起來，它仍然站在 DPO 這類偏好優化的框架上，只是把偏好對的來源和配比改成圍繞上下文信任來設計。這對已經有 preference tuning 流程的團隊，會比全新架構更容易接上。

但限制也很明顯。根據摘要，我們看不到完整 benchmark 表、看不到各模型的細節，也看不到 MIST 的標註規模與成本。摘要也沒有說明這套方法在更多任務類型上的泛化範圍。因此，現在比較適合把它當成一個清楚的方向，而不是已經定案的通用解法。

即便如此，這篇論文已經把問題講得很到位：好的上下文不該被一律拒絕，壞的上下文也不該被一律相信。真正該訓練的是判斷力，而不是單純的防禦反射。

結論

MIST 提供了把上下文信任拆開測的 benchmark，SCOPE 則提供了把這種行為直接納入訓練的做法。兩者合在一起，讓「模型會不會被帶歪」這件事，第一次被更精準地量化與優化。

對台灣開發者來說，這篇的實際啟發很直接：如果你的系統會讀外部資訊，就不能只問它能不能忽略噪音。你還得問，它會不會在該相信的時候願意相信。這才是上下文時代真正有用的 LLM。