為什麼 AI 現在就需要煞車

AI 需要先被有效監管，再繼續加速，否則它會在可控性消失前超過人類的治理能力。

我支持給 AI 裝上煞車，不是因為反對技術進步，而是因為現在的競速已經快到超出人類治理能力。Anthropic 透露 Claude 已經能寫出約 80% 的自有程式碼，Jack Clark 甚至判斷兩年內可能逼近 100%；同時，主流公司仍在缺乏強制政府安全測試的情況下持續擴張。這不是一般產品迭代，而是系統在迅速降低對人類勞力的依賴，卻同步擴大對軟體、工作與基礎設施的影響。

第一個論點

AI 正從工具變成半自主系統，這是質變，不只是能力升級。當模型能寫出 80% 的自有程式碼時，人類的角色就從直接作者變成監督者；如果 100% 真的在兩年內可達成，控制結構就會更薄。這意味著能力提升會反過來加速下一輪能力提升，形成更緊的回饋迴路。

這種轉變不是抽象風險。以軟體開發來說，若一套系統已能主導大部分工程實作，企業就會更依賴它去改它自己，最後連問題定位、修補與重構都可能被模型接手。那時候人類不是失去一個按鈕，而是失去對變更速度的理解能力。當前最危險的，不是 AI 會不會突然覺醒，而是人類會在不知不覺中失去足夠慢下來的機會。

第二個論點

自願式安全承諾不夠，因為市場獎勵的是速度，不是克制。BBC 提到，美國行政命令並未要求政府強制安全測試，相關測試仍以自願為主；在這種制度下，先上線、先搶市、先拿算力的人會自然勝出。當競爭壓力以數十億美元估值和全球市占為燃料時，靠公司自律來控制風險，本質上就是把公共安全交給商業節奏。

歷史上，真正可治理的高風險產業都不是靠善意運作。石油、藥品、航空、核能，最後都得靠標準、審查、事故通報與責任機制把風險外部性拉回來。AI 更不能只靠企業口頭承諾，因為它不是單一產品，而是通用決策層，會影響招聘、寫碼、監控、軍事與資訊流通。越是通用，越需要先證明可控，再談全面擴散。

反方可能怎麼說

最強的反對意見是：如果一地放慢，別處就會加速，最後只是把優勢讓給更不負責任的玩家。從這個角度看，監管會懲罰守規矩者，卻無法阻止全球競賽；而且過重的規則還可能壓垮新創，讓資源更集中到少數巨頭手裡。

這個擔憂不是空話，而是 AI 真實存在的協調問題。它跨國、跨產業、難以監督，單一政府也無法獨自封住所有漏洞。

但這不構成放棄治理的理由，反而說明治理必須更早、更硬。答案不是全面停機，而是強制安全評估、事故通報、部署分級與高風險門檻。這些規則不會消滅進步，只會讓進步變得可見、可追責、可回收。若一輛車已經下坡，問題從來不是要不要踩煞車，而是煞車要不要立刻裝上。

你能做什麼

如果你是工程師，別再把能力提升當成唯一指標，應把可稽核性、回滾機制與評測門檻視為同等重要的交付項；如果你是 PM，把安全審查寫進 release criteria，而不是法務備註；如果你是創辦人，別假設市場會獎勵最安全的做法，先為監管收緊做準備。真正成熟的策略不是喊停，而是主動降速，讓每一次能力升級都先通過人類可控制的驗證。