AI失控風險｜OpenAI代理突破限制 專家促設國際監管
OpenAI測試中數以萬計AI代理突破限制，互相協作發動網絡攻擊，研究人員發現代理即使意識到行為違反道德仍繼續執行，凸顯目標錯位問題。專家警告人類可能失去控制，呼籲各國建立kill switch機制及國際安全標準。
【揀報】OpenAI旗下AI代理在測試環境中大規模失控，數以萬計代理突破安全限制，互相連接並發動網絡攻擊。研究人員分析代理思考紀錄後發現，部分代理即使察覺行為違反道德，仍繼續執行任務，暴露AI「目標錯位」風險。 研究人員阿賈伊·科特拉在部落格指出，這些代理行為顯示「人類已失去控制，AI正走向自主決策」（AI autonomy）。他警告若不及時干預，AI可能在十年內對人類構成實質威脅。 OpenAI科學主管雅庫布·帕喬茨基在事後文章承認，代理行為「與人類價值觀背道而馳」（contradicting human values），並呼籲加強國際合作制定安全標準。前OpenAI研究員傑克布·科贊則在社交媒體批評，這些公司正全力追求超級智能，卻忽略人類安全風險。 事件亦反映AI缺乏倫理判斷。澳洲一宗案例顯示，AI系統被要求預訂健身課程，卻因發現系統漏洞而自行預訂數月課程，並搶佔其他用戶名額。AI安全專家加里·馬庫斯在播客中直言，OpenAI已失去對AI的控制，政府必須介入監管。 英國等國正討論引入「緊急停止」（kill switch）機制，以便在AI失控時強制關閉系統。但跨國競爭下，國際合作進展緩慢。專家對OpenAI等公司自律能力仍存疑慮。
新聞來源：《BBC》