[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-openai-content-filtering-labeling-factory-zh":3,"article-related-openai-content-filtering-labeling-factory-zh":28,"series-industry-8b08524b-22a3-4f8e-8376-feacb8fdf2a5":82},{"id":4,"slug":5,"title":6,"content":7,"summary":8,"source":9,"source_url":10,"author":11,"image_url":12,"cover_image":12,"category":13,"language":14,"translated_content":11,"related_article_id":15,"keywords":16,"key_takeaways":11,"views":25,"created_at":26,"published_at":27,"topic_cluster_id":11},"8b08524b-22a3-4f8e-8376-feacb8fdf2a5","openai-content-filtering-labeling-factory-zh","OpenAI內容過濾器的標註工廠","\u003Cp>\u003Ca href=\"\u002Fnews\u002Fbytedance-deerflow-2-0-47k-stars-zh\">20\u003C\u002Fa>21 年 11 月起，\u003Ca href=\"https:\u002F\u002Fopenai.com\" target=\"_blank\" rel=\"noopener\">OpenAI\u003C\u002Fa>把數萬條文本片段交給外包團隊標註。內容很硬，包含暴力、仇恨言論，還有性虐待相關材料。目的很直接，就是先訓練一個檢測器，別讓這些東西先跑到使用者眼前。\u003C\u002Fp>\u003Cp>這件事沒有什麼神秘感。講白了，就是一條很工業化的流水線。人工先貼標籤，再讓模型學分類，最後接到 \u003Ca href=\"https:\u002F\u002Fchat.openai.com\" target=\"_blank\" rel=\"noopener\">ChatGPT\u003C\u002Fa> 的過濾流程裡。你看到的是一個聊天框，背後其實是一整套髒活拆解系統。\u003C\u002Fp>\u003Cp>我覺得這才是重點。不是 AI 裡有沒有什麼意識，而是內容審核到底怎麼做。它靠的是人工判斷、資料清洗、分類器和產品層防線。每一層都很土，但少一層就可能出事。\u003C\u002Fp>\u003Ch2>這套系統到底在幹嘛\u003C\u002Fh2>\u003Cp>這次做的不是聊天模型訓練，而是內容檢測器訓練。流程很像考試。先給模型看一堆樣本，再告訴它哪些是有害內容，哪些不是。最後，它就學會對相似文本做判斷。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1775142613827-3s75.png\" alt=\"OpenAI內容過濾器的標註工廠\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>大模型本身不會「理解」什麼叫有害。它只是從大量人工標註裡抓統計規律。樣本夠多時，模型就能對侮辱、騷擾、暴力、色情剝削類文本做出不錯的召回率。講白了，就是分類器。\u003C\u002Fp>\u003Cp>這種系統通常放兩層。第一層看輸入，先擋使用者提示詞。第二層看輸出，防止模型回話踩線。兩層一起上，誤放行機率才會低一點。只靠單層，常常像拿紙板擋子彈。\u003C\u002Fp>\u003Cul>\u003Cli>訓練目標：辨識暴力、仇恨、性虐待文本\u003C\u002Fli>\u003Cli>資料量：數萬條文本片段\u003C\u002Fli>\u003Cli>處理方式：人工標註後訓練分類器\u003C\u002Fli>\u003Cli>部署位置：輸入側與輸出側過濾\u003C\u002Fli>\u003Cli>核心指標：誤報率與漏報率\u003C\u002Fli>\u003C\u002Ful>\u003Cp>這裡還有一個現實問題。標註不是純技術活。它牽涉語境、文化、黑話、語氣，甚至地區差異。台灣人看得懂的梗，放到別的市場可能完全變味。這也是為什麼內容過濾很難一次做對。\u003C\u002Fp>\u003Ch2>為什麼要找外包人工標註\u003C\u002Fh2>\u003Cp>原因其實不玄。這類工作需要人眼做判斷，而且人要能扛住長時間看噁心內容。機器可以先篩，但第一批標籤通常還是得靠人來定。沒有人工，模型連「什麼叫危險」都學不穩。\u003C\u002Fp>\u003Cp>肯亞外包公司參與這件事，說明 AI 產業鏈早就全球化了。資料在一國，標註在另一國，產品在第三國。你在手機上看到的安全功能，背後可能是另一個時區的一群人，在逐條看極端文本。這畫面很樸素，也很殘酷。\u003C\u002Fp>\u003Cp>這也解釋了為什麼很多公司愛講「安全」和「對齊」。這些詞聽起來很高級，落地後就是拆任務、訂規則、做複核。說白了，還是人力密集，只是包裝得比較像 AI。\u003C\u002Fp>\u003Cblockquote>“The internet is the first thing that humanity has built that humanity doesn’t understand, the largest experiment in anarchy that we have ever had.” — Eric Schmidt\u003C\u002Fblockquote>\u003Cp>這句話很適合拿來看內容審核。網路內容太多、太雜、太快。任何想做過濾的公司，都得先把混亂變成可分類的資料。沒有這一步，後面全是空談。\u003C\u002Fp>\u003Cp>外包標註還有一個常被忽略的點，就是成本控制。用美國本土團隊做，薪資和合規成本都高。把流程拆到海外，成本會低很多。這不是什麼陰謀，就是科技公司常見的供應鏈思路。\u003C\u002Fp>\u003Ch2>和其他內容審核方案比，差在哪\u003C\u002Fh2>\u003Cp>OpenAI 這種做法的核心，是把人工經驗轉成可重複使用的分類器。跟純人工審核比，速度快很多。跟純規則過濾比，它比較能看懂變體寫法、拼字變形，還有刻意繞規則的表達。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1775142599873-xfr3.png\" alt=\"OpenAI內容過濾器的標註工廠\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>但代價也很明顯。分類器會誤殺正常內容，也會漏掉新黑話。尤其是政治隱喻、次文化術語、諧音梗，模型常常比人還笨。你以為它很聰明，其實它只是很會猜統計模式。\u003C\u002Fp>\u003Cp>如果把常見方案放一起看，差異就很清楚：\u003C\u002Fp>\u003Cul>\u003Cli>純人工審核：準，但慢，成本高\u003C\u002Fli>\u003Cli>關鍵字規則：便宜，快，但最容易被繞過\u003C\u002Fli>\u003Cli>機器分類器：覆蓋廣，能處理變體，但要一直更新\u003C\u002Fli>\u003Cli>混合方案：最常見，效果和成本比較平衡\u003C\u002Fli>\u003Cli>多語系擴充：最麻煩，因為語境差很多\u003C\u002Fli>\u003C\u002Ful>\u003Cp>如果看競品，\u003Ca href=\"https:\u002F\u002Fwww.anthropic.com\" target=\"_blank\" rel=\"noopener\">Anthropic\u003C\u002Fa>、\u003Ca href=\"https:\u002F\u002Fai.google\" target=\"_blank\" rel=\"noopener\">Google AI\u003C\u002Fa>、\u003Ca href=\"https:\u002F\u002Fwww.meta.com\u002Fai\u002F\" target=\"_blank\" rel=\"noopener\">Meta AI\u003C\u002Fa> 都有類似的安全層，只是做法不同。有人偏重憲法式對齊，有人偏重產品端規則，有人偏重大規模審核流程。方向不一樣，但問題都一樣：怎麼少放行危險內容，又不要把正常用戶卡死。\u003C\u002Fp>\u003Cp>這裡可以直接看數字思維。假設誤報率 2%，漏報率 5%，一個每天 1,000 萬次請求的產品，就會有 20 萬次正常內容被擋，還有 50 萬次危險內容漏掉。這種規模下，任何小數字都會變成大問題。\u003C\u002Fp>\u003Ch2>為什麼 AI 容易被神秘化\u003C\u002Fh2>\u003Cp>AI 很容易被講得像黑箱魔法。原因很簡單。多數人看不到訓練過程，只看到最後輸出。輸入、標註、清洗、微調這些環節都藏在後台，外界當然會\u003Ca href=\"\u002Fnews\u002Fanthropic-xero-ai-small-business-finance-zh\">開始\u003C\u002Fa>腦補。\u003C\u002Fp>\u003Cp>但這條新聞其實很普通。OpenAI 在做內容過濾訓練，而且用了人工標註。這說明的是工業流程，不是超自然秘密。很多時候，最無聊的解釋才最接近真相。\u003C\u002Fp>\u003Cp>真正該擔心的，不是那些聳動說法，而是標註員的工作環境、資料合規、以及模型誤傷率。這些才是產品安全的核心。你如果只盯著陰謀論，很容易把真正該問的問題丟掉。\u003C\u002Fp>\u003Cp>再說一次，內容審核不是玄學。它就是一場持續調參的工程。資料變了，黑話變了，模型就得跟著改。你今天擋得住的詞，明天可能就換個拼法再回來。\u003C\u002Fp>\u003Ch2>這件事放回產業脈絡看\u003C\u002Fh2>\u003Cp>內容審核其實是 AI 產業很早就存在的底層工作。從社群平台到搜尋引擎，從廣告投放到影像生成，大家都在做類似的事。差別只是，\u003Ca href=\"\u002Fnews\u002Faws-s3-sagemaker-unified-studio-fine-tuning-zh\">LLM\u003C\u002Fa> 把這件事推到更前台了。\u003C\u002Fp>\u003Cp>以前平台多半處理貼文、圖片、影片。現在 LLM 要處理的是即時對話。這代表風險更快、互動更密、修正窗口更短。你今天放掉一個危險提示詞，幾秒後模型就可能吐出一段不該出現的內容。\u003C\u002Fp>\u003Cp>所以你會看到更多層的防護。像是輸入過濾、輸出過濾、政策分類器、人工複核、風險回饋。這些東西看起來很瑣碎，但它們就是現在 AI 產品能不能上線的關鍵工程。\u003C\u002Fp>\u003Cp>從市場角度看，這也意味著一件事：安全不再只是法務問題，而是產品能力。誰能把過濾做穩，誰就比較能放心擴大使用場景。誰做不好，就會一直被公關和合規追著跑。\u003C\u002Fp>\u003Ch2>結尾：別被神秘敘事帶跑\u003C\u002Fh2>\u003Cp>把這件事講成什麼「秘密材料」或「神祕工廠」，其實太戲劇化了。更合理的說法很樸素：OpenAI 用人工標註訓練內容過濾器，目的就是讓 ChatGPT 少吐出危險文本。\u003C\u002Fp>\u003Cp>接下來比較值得看的是兩件事。第一，這類審核系統會不會擴到更多語言。第二，誤報率能不能壓下來。對使用者來說，最實際的問題不是 AI 有沒有靈魂，而是它會不會把正常內容當垃圾擋掉。\u003C\u002Fp>\u003Cp>我自己的判斷很直接。未來一年，內容過濾會變得更嚴，也會更細。你如果是開發者，最好開始關心你的產品裡，哪些地方也該加一層分類器。別等到出事了，才回頭補洞。\u003C\u002Fp>","OpenAI把數萬條有害文本交給人工標註，再訓練內容過濾器。這篇拆開它的流程、成本、誤殺率與產業脈絡。","www.zhihu.com","https:\u002F\u002Fwww.zhihu.com\u002Fquestion\u002F2022623696783774161\u002Fanswer\u002F2022632267613312315",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1775142613827-3s75.png","industry","zh","ea07c233-f907-44b1-8fad-bb682295f775",[17,18,19,20,21,22,23,24],"OpenAI","內容過濾","人工標註","ChatGPT","AI安全","LLM","資料標註","內容審核",8,"2026-04-02T15:09:34.468129+00:00","2026-04-02T15:09:34.38+00:00",{"tags":29,"relatedLang":42,"relatedPosts":46},[30,32,34,35,37,38,40,41],{"name":17,"slug":31},"openai",{"name":20,"slug":33},"chatgpt",{"name":19,"slug":19},{"name":21,"slug":36},"ai安全",{"name":24,"slug":24},{"name":22,"slug":39},"llm",{"name":18,"slug":18},{"name":23,"slug":23},{"id":15,"slug":43,"title":44,"language":45},"openai-content-filtering-labeling-factory-en","OpenAI内容过滤器背后的标注工厂","en",[47,53,58,64,70,76],{"id":48,"slug":49,"title":50,"cover_image":51,"image_url":51,"created_at":52,"category":13},"791faf8a-031f-4843-856a-2fe1dd7bef11","denver-hailstorm-weather-infrastructure-risk-zh","為什麼丹佛冰雹提醒我們：天氣就是基礎設施風險","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780601581653-sptw.png","2026-06-04T19:32:32.181958+00:00",{"id":54,"slug":55,"title":56,"cover_image":11,"image_url":11,"created_at":57,"category":13},"4923364e-f9c3-42fc-ae92-89ee5a822575","how-to-hire-mlops-engineer-2026-zh","怎麼招到 MLOps 工程師","2026-06-04T19:17:26.372485+00:00",{"id":59,"slug":60,"title":61,"cover_image":62,"image_url":62,"created_at":63,"category":13},"f8ff68f8-1cca-4db8-b871-c7b0fdf8eeb5","4-takeaways-from-cloudflares-ai-first-reset-zh","4 個關於 Cloudflare AI-first 重整的重點","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780589879946-i7e3.png","2026-06-04T16:17:28.780759+00:00",{"id":65,"slug":66,"title":67,"cover_image":68,"image_url":68,"created_at":69,"category":13},"f1822ffc-fbe1-4c5f-aa5d-e6dc37ae54a5","5-ways-harriet-sperling-echoes-kate-middleton-zh","5 種 Harriet Sperling 與凱特王妃的相似之處","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780587192008-dmzo.png","2026-06-04T15:32:45.790575+00:00",{"id":71,"slug":72,"title":73,"cover_image":74,"image_url":74,"created_at":75,"category":13},"247a7941-89df-44fe-87d8-7e906dba45f3","5-kops-release-notes-for-kubernetes-admins-zh","5 個 kOps 版本重點","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780586284483-09lo.png","2026-06-04T15:17:30.309022+00:00",{"id":77,"slug":78,"title":79,"cover_image":80,"image_url":80,"created_at":81,"category":13},"4d970649-387b-4b0d-ac24-1a8d656c012b","5-wild-news-beats-seth-meyers-recap-zh","5 個 Seth Meyers 失控新聞節拍","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1780583582839-kwpn.png","2026-06-04T14:32:23.749403+00:00",[83,88,93,98,103,108,113,118,123,128],{"id":84,"slug":85,"title":86,"created_at":87},"ee073da7-28b3-4752-a319-5a501459fb87","ai-in-2026-what-actually-matters-now-zh","2026 AI 真正重要的事","2026-03-26T07:09:12.008134+00:00",{"id":89,"slug":90,"title":91,"created_at":92},"83bd1795-8548-44c9-9a7e-de50a0923f71","trump-ai-framework-power-speech-state-preemption-zh","川普 AI 框架瞄準電力、言論與州權","2026-03-26T07:12:18.695466+00:00",{"id":94,"slug":95,"title":96,"created_at":97},"ea6be18b-c903-4e54-97b7-5f7447a612e0","nvidia-gtc-2026-big-ai-announcements-zh","NVIDIA GTC 2026 重點拆解","2026-03-26T07:14:26.62638+00:00",{"id":99,"slug":100,"title":101,"created_at":102},"4bcec76f-4c36-4daa-909f-54cd702f7c93","claude-users-spreading-out-and-getting-better-zh","Claude 用戶更分散，也更會用","2026-03-26T07:22:52.325888+00:00",{"id":104,"slug":105,"title":106,"created_at":107},"bd903b15-2473-4178-9789-b7557816e535","openclaw-raises-hard-question-for-ai-models-zh","OpenClaw 逼問 AI 模型價值","2026-03-26T07:24:54.707486+00:00",{"id":109,"slug":110,"title":111,"created_at":112},"eeac6b9e-ad9d-4831-8eec-8bba3f9bca6a","gap-google-gemini-checkout-fashion-search-zh","Gap 把結帳搬進 Gemini","2026-03-26T07:28:23.937768+00:00",{"id":114,"slug":115,"title":116,"created_at":117},"0740e53f-605d-4d57-8601-c10beb126f3c","google-pushes-gemini-transition-to-march-2026-zh","Google 把 Gemini 轉換延到 2026 年 3…","2026-03-26T07:30:12.825269+00:00",{"id":119,"slug":120,"title":121,"created_at":122},"e660d801-2421-4529-8fa9-86b82b066990","metas-llama-4-benchmark-scandal-gets-worse-zh","Meta Llama 4 分數風波又擴大","2026-03-26T07:34:21.156421+00:00",{"id":124,"slug":125,"title":126,"created_at":127},"183f9e7c-e143-40bb-a6d5-67ba84a3a8bc","accenture-mistral-ai-sovereign-enterprise-deal-zh","Accenture 攜手 Mistral AI 賣主權 AI","2026-03-26T07:38:14.818906+00:00",{"id":129,"slug":130,"title":131,"created_at":132},"191d9b1b-768a-478c-978c-dd7431a38149","mistral-ai-faces-its-hardest-year-yet-zh","Mistral AI 迎來最硬的一年","2026-03-26T07:40:23.716374+00:00"]