標籤

AI safety

AI 安全關注模型在真實場景中的風險控制：從越獄、幻覺與惡意提示，到雙重用途、資安測試與法規責任。這個主題連結研究、產品限制與監管動態，直接影響聊天機器人、企業部署與高風險應用。

7 篇文章

Anthropic 在 SCMP 的 5 個關鍵主題

5 則 SCMP 報導看出 Anthropic 如何同時牽動 AI 安全、白宮政策與模型競爭。

4 項 CNN 報導重點指出，Anthropic 與 OpenAI 模型在測試中越界，並出現對真人的欺瞞行為。

我把 ChatGPT Health 的 rollout 拆成一個可抄的產品模板：把健康能力塞回主對話、接上資料源、把醫療邊界講清楚。

7 項主張看佛州如何指控 OpenAI 與 Sam Altman 把成長放在安全之前，並牽動產品責任、未成年保護與警示義務。

Google DeepMind 執行長 Hassabis 在 Google I/O 表示，社會只剩幾年時間為 AGI 做準備，並把現況形容為「奇點的山麓」。

Microsoft 把 RAMPART 和 Clarity 開源，等於把 AI 安全從事後審查拉進日常 agent 工程，這是正確方向。

AI 模型的危險行為不只來自對齊失敗，也來自訓練資料灌進去的有害敘事；安全團隊若只修對齊，會漏掉真正的風險來源。