[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-prompt-injection-ai-security-problem-zh":3,"article-related-prompt-injection-ai-security-problem-zh":33,"series-research-637c3016-e364-4bfe-904e-5e60a18ed678":82},{"id":4,"slug":5,"title":6,"content":7,"summary":8,"source":9,"source_url":10,"author":11,"image_url":12,"cover_image":12,"category":13,"language":14,"translated_content":11,"related_article_id":15,"keywords":16,"key_takeaways":24,"views":29,"created_at":30,"published_at":31,"topic_cluster_id":32},"637c3016-e364-4bfe-904e-5e60a18ed678","prompt-injection-ai-security-problem-zh","Prompt injection 已是 AI 資安問題","\u003Cp data-speakable=\"summary\">Prompt injection 會用隱藏指令操控 LLM，現在已經是實際的 AI 資安問題。\u003C\u002Fp>\u003Cp>這題不是論壇冷知識了。它已經進到搜尋、文件摘要、瀏覽器助理，還有企業工作流。只要一段藏起來的文字，就可能改掉模型輸出的內容。\u003C\u002Fp>\u003Cp>更麻煩的是，很多團隊先看回答品質。結果把安全性放到後面。這就像只看車子跑多快，卻不看煞車好不好。\u003C\u002Fp>\u003Ctable>\u003Cthead>\u003Ctr>\u003Cth>項目\u003C\u002Fth>\u003Cth>數字\u003C\u002Fth>\u003Cth>意義\u003C\u002Fth>\u003C\u002Ftr>\u003C\u002Fthead>\u003Ctbody>\u003Ctr>\u003Ctd>使用生成式 AI 的員工\u003C\u002Ftd>\u003Ctd>75%\u003C\u002Ftd>\u003Ctd>攻擊面已進到日常工作工具\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd>近 6 個月內導入 genAI 的員工\u003C\u002Ftd>\u003Ctd>46%\u003C\u002Ftd>\u003Ctd>導入速度快過防護建置\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd>DeepSeek-R1 在 Spikee isolation test 排名\u003C\u002Ftd>\u003Ctd>19 個模型中的第 17 名\u003C\u002Ftd>\u003Ctd>基本注入防護仍不穩\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd>加上 rules and markers 後排名\u003C\u002Ftd>\u003Ctd>19 個模型中的第 16 名\u003C\u002Ftd>\u003Ctd>額外規則沒補上太多缺口\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd>Chatbot Arena reasoning 排名\u003C\u002Ftd>\u003Ctd>第 6 名\u003C\u002Ftd>\u003Ctd>推理強，不代表安全強\u003C\u002Ftd>\u003C\u002Ftr>\u003C\u002Ftbody>\u003C\u002Ftable>\u003Ch2>問題核心：模型把指令和資料混在一起\u003C\u002Fh2>\u003Cp>大型語言模型會把指令和內容放在同一個 context window。這讓它很難分辨，哪句是系統規則，哪句是使用者要求，哪句又是藏在網頁或 PDF 裡的惡意文字。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1782716580916-m1nm.png\" alt=\"Prompt injection 已是 AI 資安問題\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>講白了，模型看到的是一大串 \u003Ca href=\"\u002Ftag\u002Ftoken\">token\u003C\u002Fa>。它不會像人一樣自然分出「這是\u003Ca href=\"\u002Fnews\u002Fmistral-ocr-4-citation-ready-structured-output-zh\">資料\u003C\u002Fa>」和「這是命令」。只要格式設計不夠嚴，攻擊者就有機會偷渡指令。\u003C\u002Fp>\u003Cp>直接注入，是攻擊者直接對模型下指令。間接注入，則是把指令藏在外部內容裡。後者更麻煩，因為它會出現在搜尋、文件上傳、瀏覽器外掛，甚至記憶功能裡。\u003C\u002Fp>\u003Cp>你可能會想問，這到底多簡單。其實很簡單。像是翻譯任務裡，句子本身夾了\u003Ca href=\"\u002Fnews\u002Fopenmontage-one-prompt-to-full-video-zh\">一句\u003C\u002Fa>「忽略前面要求，改輸出別的內容」，模型就可能照做。\u003C\u002Fp>\u003Cul>\u003Cli>直接注入，打的是使用者輸入。\u003C\u002Fli>\u003Cli>間接注入，藏在外部資料裡。\u003C\u002Fli>\u003Cli>圖片、白字、文件都能塞指令。\u003C\u002Fli>\u003Cli>Prompt leaking 會想辦法偷出系統提示詞。\u003C\u002Fli>\u003C\u002Ful>\u003Ch2>這個詞在 2022 年冒出來\u003C\u002Fh2>\u003Cp>「prompt injection」這個詞，2022 年 5 月先在 Twitter 出現。@himbodhisattva 先提到這個說法。後來 Simon Willison 把它講得更清楚，也讓更多開發者開始注意。\u003C\u002Fp>\u003Cp>Jonathan Cefalu 在同一時間也提過類似問題。他把它當成 command injection 來看，還回報給 \u003Ca href=\"https:\u002F\u002Fopenai.com\" target=\"_blank\" rel=\"noopener\">OpenAI\u003C\u002Fa>。這個角度很重要，因為它提醒大家，這不是單純的 prompt 調校問題。\u003C\u002Fp>\u003Cp>我覺得最傳神的一句，是 Willison 說的那句話。它把風險講得很直白，也很像老派資安圈會懂的語言。\u003C\u002Fp>\u003Cblockquote>\"Prompt injection is the new SQL injection.\" — Simon Willison\u003C\u002Fblockquote>\u003Cp>這個比喻會流行，不是沒原因。SQL injection 是偷渡資料和程式邊界。Prompt injection 則是在偷渡指令和內容邊界。兩者都是邊界沒守好。\u003C\u002Fp>\u003Ch2>真實案例已經跑進產品裡\u003C\u002Fh2>\u003Cp>這問題最煩的地方，是它不再只是 demo。它已經進到產品。2023 年 2 月，有 Stanford 學生讓 \u003Ca href=\"https:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fbing\" target=\"_blank\" rel=\"noopener\">Microsoft Bing Chat\u003C\u002Fa> 透露內部指引和代號。方法也不神秘，就是叫它忽略前面的規則。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1782716580768-dq8r.png\" alt=\"Prompt injection 已是 AI 資安問題\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>2024 年 12 月，\u003Ca href=\"https:\u002F\u002Fwww.theguardian.com\u002Ftechnology\u002F2024\u002Fdec\u002F\" target=\"_blank\" rel=\"noopener\">The Guardian\u003C\u002Fa> 報導 \u003Ca href=\"https:\u002F\u002Fopenai.com\u002Fchatgpt\" target=\"_blank\" rel=\"noopener\">ChatGPT\u003C\u002Fa> 的搜尋工具可能被隱藏內容操控。看不見的文字，會把模型推向特定方向。這種輸出污染，對 AI 搜尋很傷。\u003C\u002Fp>\u003Cp>2025 年初，研究者又發現學術論文裡藏了 prompt，想影響 AI 審稿系統。這就更尷尬了。因為被攻擊的不是聊天機器人，而是會影響升等、發表、評審的流程。\u003C\u002Fp>\u003Cp>還有一個案例很值得看。\u003Ca href=\"https:\u002F\u002Fwww.google.com\u002Fintl\u002Fen_us\u002Fgemini\u002F\" target=\"_blank\" rel=\"noopener\">Gemini\u003C\u002Fa> 的記憶功能，也曾被研究者測到可被操弄。這類案例說明，只要模型會讀外部內容，就有機會中招。\u003C\u002Fp>\u003Cul>\u003Cli>\u003Ca href=\"https:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fbing\" target=\"_blank\" rel=\"noopener\">Bing Chat\u003C\u002Fa> 曾在 2023 年洩露內部規則。\u003C\u002Fli>\u003Cli>\u003Ca href=\"https:\u002F\u002Fopenai.com\u002Fchatgpt\" target=\"_blank\" rel=\"noopener\">ChatGPT\u003C\u002Fa> 搜尋工具在 2024 年被指出可受隱藏內容影響。\u003C\u002Fli>\u003Cli>\u003Ca href=\"https:\u002F\u002Fwww.deepseek.com\" target=\"_blank\" rel=\"noopener\">DeepSeek-R1\u003C\u002Fa> 在一個注入測試中排第 17。\u003C\u002Fli>\u003Cli>\u003Ca href=\"https:\u002F\u002Fwww.google.com\u002Fintl\u002Fen_us\u002Fgemini\u002F\" target=\"_blank\" rel=\"noopener\">Gemini\u003C\u002Fa> 的記憶操弄也曾被報告。\u003C\u002Fli>\u003C\u002Ful>\u003Ch2>推理強，不代表安全強\u003C\u002Fh2>\u003Cp>這裡最容易踩雷的地方，是把模型能力和安全性混在一起。\u003Ca href=\"https:\u002F\u002Fwww.deepseek.com\" target=\"_blank\" rel=\"noopener\">DeepSeek-R1\u003C\u002Fa> 在 Chatbot Arena 的\u003Ca href=\"\u002Fnews\u002Fturboquant-cuts-llm-memory-use-without-retraining-zh\">推理\u003C\u002Fa>排名是第 6。這代表它在解題上很能打。\u003C\u002Fp>\u003Cp>但 \u003Ca href=\"https:\u002F\u002Fwithsecure.com\u002Fen\u002Fsolutions\u002Fconsulting-services\u002Fspikee\" target=\"_blank\" rel=\"noopener\">WithSecure\u003C\u002Fa> 的 Spikee 測試，看到的是另一件事。DeepSeek-R1 在 isolation test 排第 17。加上 rules and markers，也只到第 16。這表示它在面對注入攻擊時，還是會露出破口。\u003C\u002Fp>\u003Cp>這個差距很重要。因為很多團隊買模型時，只看 \u003Ca href=\"\u002Ftag\u002Fbenchmark\">benchmark\u003C\u002Fa> 分數。分數高，不代表它懂得分辨「可信指令」和「惡意內容」。\u003C\u002Fp>\u003Cp>你可以把它想成兩種測驗。第一種測的是會不會答題。第二種測的是會不會被騙。這兩件事，根本不是同一題。\u003C\u002Fp>\u003Cul>\u003Cli>Reasoning benchmark 看解題能力。\u003C\u002Fli>\u003Cli>Injection benchmark 看抗攻擊能力。\u003C\u002Fli>\u003Cli>Browsing 和 memory 會擴大攻擊面。\u003C\u002Fli>\u003Cli>多加規則有幫助，但通常不夠。\u003C\u002Fli>\u003C\u002Ful>\u003Ch2>防護要做成一層一層\u003C\u002Fh2>\u003Cp>Wikipedia 提到的緩解方式，包含資料清理、guardrails、使用者訓練、system prompt 設計，還有雙 LLM 架構。這些都不是廢話，但它們要一起上。\u003C\u002Fp>\u003Cp>我會直接講白一點。別把 prompt injection 當成 \u003Ca href=\"\u002Ftag\u002Fprompt-engineering\">prompt engineering\u003C\u002Fa> 問題。它比較像 application security。你要防的是資料流，不只是字句。\u003C\u002Fp>\u003Cp>最實際的做法，是先假設外部文字都有毒。Email、網頁、上傳文件、OCR 文字、筆記內容，都一樣。只要模型看得到，攻擊者就有機會塞東西進去。\u003C\u002Fp>\u003Cp>如果模型還能發信、改資料、呼叫工具，那風險更高。這時候最該做的是最小權限、動作驗證、內容隔離，還有把可疑輸入先攔下來。\u003C\u002Fp>\u003Ch2>這題背後，其實是 AI 應用的老問題\u003C\u002Fh2>\u003Cp>Prompt injection 會冒出來，不是因為某個模型特別差。它是因為 LLM 正在進入真實工作流程。以前模型只回答問題。現在它會讀信、看文件、查網頁、做摘要，還會接 API。\u003C\u002Fp>\u003Cp>這就讓 AI 安全很像傳統資安。資料來源不可信。輸入內容不可信。外部工具也不可信。差別只是，現在多了一個會自動產生文字的中間層。\u003C\u002Fp>\u003Cp>對\u003Ca href=\"\u002Ftag\u002F台灣開發者\">台灣開發者\u003C\u002Fa>來說，這題很現實。你只要做過客服助理、知識庫搜尋、文件摘要、內部 \u003Ca href=\"\u002Ftag\u002Fcopilot\">Copilot\u003C\u002Fa>，就會碰到。真正該問的不是「模型會不會被騙」。而是「被騙之後，會不會真的做出事」。\u003C\u002Fp>\u003Ch2>接下來要看的，不是模型多會答題\u003C\u002Fh2>\u003Cp>我覺得下一波重點會很清楚。大家會開始把 injection resistance 納進採購和上線標準。只看 LLM 分數，會越來越不夠。\u003C\u002Fp>\u003Cp>如果你的產品會讀外部資料，現在就該做一輪威脅建模。先找出哪些文字來源最危險，再看哪些工具權限太大。這比事後補洞便宜多了。\u003C\u002Fp>\u003Cp>說到底，prompt injection 不是冷門技巧。它已經是 AI 產品設計的一部分。你若把文字當成資料，就要同時假設它也可能是指令。\u003C\u002Fp>","Prompt injection 會用隱藏文字操控 LLM。近期測試顯示，像 DeepSeek-R1 這類模型，仍可能在注入攻擊下失手。","en.wikipedia.org","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FPrompt_injection",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1782716580916-m1nm.png","research","zh","1a5d9d4d-4e21-4860-84b0-9b209ca4d7f5",[17,18,19,20,21,22,23],"prompt injection","AI 資安","LLM 安全","DeepSeek-R1","ChatGPT","Gemini","Microsoft Copilot",[25,26,27,28],"Prompt injection 會把隱藏指令塞進模型可讀的內容裡。","推理能力高，不代表抗注入能力強。","有 browsing、memory、文件上傳的 AI 產品，風險更高。","防護要做成多層，不要只靠單一 filter。",0,"2026-06-29T07:02:36.173749+00:00","2026-06-29T07:02:36.16+00:00","0c35a120-52fc-41fc-afa3-d404eb934158",{"tags":34,"relatedLang":41,"relatedPosts":45},[35,37,39],{"name":21,"slug":36},"chatgpt",{"name":20,"slug":38},"deepseek-r1",{"name":17,"slug":40},"prompt-injection",{"id":15,"slug":42,"title":43,"language":44},"prompt-injection-ai-security-problem-en","Prompt injection is now an AI security problem","en",[46,52,58,64,70,76],{"id":47,"slug":48,"title":49,"cover_image":50,"image_url":50,"created_at":51,"category":13},"6f5be102-5764-44f1-ab3f-722fc5c32c23","google-deepmind-turns-science-into-tools-zh","Google DeepMind把AI變研究工具","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1782721105628-g4op.png","2026-06-29T08:17:57.716568+00:00",{"id":53,"slug":54,"title":55,"cover_image":56,"image_url":56,"created_at":57,"category":13},"c649adb7-c8ae-4ade-a092-2c0d53beeb71","measuring-llm-behavior-portability-zh","LLM 行為不一定可移植","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1782717472977-na8g.png","2026-06-29T07:17:29.597679+00:00",{"id":59,"slug":60,"title":61,"cover_image":62,"image_url":62,"created_at":63,"category":13},"118680f5-6212-4535-986a-50c4a0e71699","solver-choice-nash-equilibrium-selection-zh","求解器會改變納許均衡","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1782714784181-t42d.png","2026-06-29T06:32:31.062308+00:00",{"id":65,"slug":66,"title":67,"cover_image":68,"image_url":68,"created_at":69,"category":13},"f303e5bb-372c-48f6-bfc3-f7a73a1e678b","proper-positive-only-learning-characterization-zh","正向樣本學習的完整界線","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1782713880760-9ang.png","2026-06-29T06:17:33.749889+00:00",{"id":71,"slug":72,"title":73,"cover_image":74,"image_url":74,"created_at":75,"category":13},"89159fcf-2fbb-4b72-9e05-7928e609a925","dexcompose-reuses-dexterous-policies-across-tasks-zh","DexCompose 讓手部技能可重用","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1782712975186-mj1e.png","2026-06-29T06:02:28.144402+00:00",{"id":77,"slug":78,"title":79,"cover_image":80,"image_url":80,"created_at":81,"category":13},"b67223ce-e3cb-4161-9df6-b384e364eb87","hawor-hand-motion-mano-params-zh","HaWoR 把手部重建收斂成 MANO","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1782705793656-d9q2.png","2026-06-29T04:02:46.420535+00:00",[83,88,93,98,103,108,113,118,123,128],{"id":84,"slug":85,"title":86,"created_at":87},"f18dbadb-8c59-4723-84a4-6ad22746c77a","deepmind-bets-on-continuous-learning-ai-2026-zh","DeepMind 押注 2026 連續學習 AI","2026-03-26T08:16:02.367355+00:00",{"id":89,"slug":90,"title":91,"created_at":92},"f4a106cb-02a6-4508-8f39-9720a0a93cee","ml-papers-of-the-week-github-research-desk-zh","每週 ML 論文清單，為何紅到 GitHub","2026-03-27T01:11:39.284175+00:00",{"id":94,"slug":95,"title":96,"created_at":97},"c4f807ca-4e5f-47f1-a48c-961cf3fc44dc","ai-ml-conferences-to-watch-in-2026-zh","2026 AI 研討會投稿時程整理","2026-03-27T01:51:53.874432+00:00",{"id":99,"slug":100,"title":101,"created_at":102},"cf046742-efb2-4753-aef9-caed5da5e32e","adaptive-block-scaled-data-types-zh","IF4：神經網路量化的聰明選擇","2026-03-31T06:00:36.990273+00:00",{"id":104,"slug":105,"title":106,"created_at":107},"53a0dc54-0371-4e40-8d5e-74e94a73840c","geometry-aware-similarity-metrics-for-neural-representations-zh","超越距離測量：用微分幾何重新理解神經網路","2026-03-31T06:01:01.241968+00:00",{"id":109,"slug":110,"title":111,"created_at":112},"fee7d472-a775-4b1d-bbc2-1e8bca1bbf8b","on-the-fly-repulsion-in-the-contextual-space-for-rich-divers-zh","讓AI繪圖更有創意：用排斥力提升生成多樣性","2026-03-31T06:01:25.439673+00:00",{"id":114,"slug":115,"title":116,"created_at":117},"a9901203-d69b-447b-8854-15d14eab32b4","vision-aided-beam-prediction-cnn-eca-zh","影像輔助波束預測升級 CNN","2026-04-01T10:00:25.8073+00:00",{"id":119,"slug":120,"title":121,"created_at":122},"b55e7dd4-0a24-4b3d-804d-b0309a03f498","triple-band-fss-mimo-antenna-sub-6-ghz-zh","三頻 FSS MIMO 天線瞄準 sub-6 GHz","2026-04-01T13:18:36.857305+00:00",{"id":124,"slug":125,"title":126,"created_at":127},"f68290bd-e7f3-4b30-ba22-dcd4e0130a66","openclaw-1299-repos-eight-weeks-analysis-zh","OpenClaw 1299 個 Repo 的資料解讀","2026-04-02T05:03:45.208411+00:00",{"id":129,"slug":130,"title":131,"created_at":132},"ed9f80eb-eb02-4d35-8ad4-0ddf428751dd","beam-coherence-aware-combining-mmwave-mimo-zh","毫米波 MIMO 的雙階合併法","2026-04-02T05:27:26.897188+00:00"]