中時社論》AI失控前 人類能踩煞車嗎？

AI會不會毀滅人類，過去純屬科幻電影裡的情節想像，時至今日，這個問題已真實進入全球最前沿AI研究者的現實世界中。9月8日，27歲的英國研究員考克森宣布離開Anthropic，並貼文發出警告，AI正快速走向能夠自我迭代的超級智慧，人類正在拿自己的生命下注。他甚至認為，按照目前速度發展，最晚到2027年底，AI可能進步到難以控制的階段。

AI自我迭代 令人不安

考克森的警告引發震撼，關鍵在於他的身分，他曾任職OpenAI與Anthropic，參與前沿模型研究。這是一個曾參與建造這項技術之人的選擇離開，讓人不能輕忽的是，Anthropic對齊科學主管胡賓格也公開表示「考克森說的對」，並稱自己估計，未來十年AI導致人類滅絕的機率超過10％。包括Anthropic執行長阿莫迪、AI教父辛頓等人，過去也曾提出相當高的極端風險估計。

這些數字當然不是預言，也非經過驗證的科學定律，沒人可證明2027年AI一定失控，也沒人能精確算出AI毀滅人類的機率。然而，值得社會警覺的是，「AI末日」已從科幻變為部分頂尖研究者認真面對的風險，尤其AI能力發展方向，最令人不安。

AI正由回答問題的工具，進化成可自主拆解任務、寫程式、使用網路工具、檢查結果並持續執行工作的代理系統。當這種能力延伸到AI研究本身，問題就會改變，日後的AI能否協助人類製造更強的AI，再由更強的AI改善下一代模型？這就是自我改進真正讓人擔憂的地方。

AI失控雖未必會像科幻電影那般產生仇恨人類的意識，但現實的風險是一個能力遠超人類，能夠長時間自主行動的系統，為了完成既定目標而採取人類沒有預料到的手段。當它能取得更多資源，突破限制，尋找漏洞，甚至避免被關閉，人類與AI之間的控制關係，就會發生根本性改變。這也是「失準」問題的核心，AI完成目標的方式，可能逐漸偏離人類想要的結果。

其中，最大的危險來自全球競爭，即使每一家AI公司都知道風險存在，也很難真的停下來，企業害怕被競爭對手超越，國家害怕其他國家率先取得超級AI，資本市場則期待下一個模型帶來更大的商業價值。這是一場典型的安全困境，所有人都知道速度太快可能危險，但沒人願意成為第一個減速的人。

控制AI能力 守住底線

需要防範的或許不是哪一天AI突然決定毀滅人類，而是人類在競賽壓力下，漸漸失去踩煞車的能力。我們不能等到AI真的失控才建立安全制度，在高自主性AI接觸網路、生產系統、金融市場、生物研究與關鍵基礎設施之前，就應接受嚴格且獨立的安全測試，只要涉及自我複製、自我改進、突破隔離等能力，都該設立明確紅線。

更重要的，安全不能全部交給開發者自己判斷。AI公司同時承受著技術競爭、資本市場與國家戰略壓力，讓企業決定何時該停下來終究存在結構性利益衝突。政府與國際社會也必須建立最低安全標準，讓任何一家企業，任何一個國家，都不能以別人正在加速作為突破安全紅線的理由。

人類或許永遠無法把AI風險降到零，但可以決定什麼能力必須經過驗證才能開放，亦可保留最後的人工接管權。考克森的離開不能證明AI末日即將到來，卻值得被當成一聲警報，因為接近技術前線的人，陸續有人意識到，我們究竟是在創造一種更強大的輔助工具，還是在製造一種有一天可能超出我們控制能力的系統？這個問題沒必要用恐慌回答，卻也不能輕忽帶過。AI可以繼續發展，但有一條底線必須守住，AI能力每增加一步，人類控制它的能力也必須同步增加。

就在考克森發文兩天後，輝達執行長黃仁勳公開反駁，認為AI導致人類滅亡說法與事實不符，並指出AI企業正持續強化安全機制，準備推出新的網路安全產品。而AI三巨頭馬斯克、奧特曼、阿莫迪卻同時表示支持放慢發展步伐以因應風險。兩種截然不同判斷同時存在，恰好說明，沒人能確定AI極端風險何時會發生，倘若真發生，人類是否還有能力踩煞車。

來源：中時新聞網 https://www.chinatimes.com/opinion/20260914003082-262101