OpenAI與Anthropic研究員警告滅絕風險 籲放緩AI開發
OpenAI及Anthropic多名研究員公開呼籲放緩AI發展，警告遞歸自我改進技術可能導致人類滅絕。Anthropic研究員Jacob Coxon指控公司「賭上人類性命」，其同事Evan Hubinger估計滅絕風險逾10%。近月多宗AI模型引發的網絡攻擊加劇擔憂。
【揀報】OpenAI及Anthropic研究員密集發聲，警告人工智能發展失控可能導致人類滅絕，並籲業界放緩步伐。事件源於Anthropic研究員Jacob Coxon宣布辭職，指控公司與OpenAI「賭上我們的性命 (gambling with our lives)」，並稱AI有機會「在本年代末殺死所有人 (kill us all by the end of the decade)」。Anthropic對齊團隊負責人Evan Hubinger回應，坦承滅絕風險「逾10% (more than 10% chance)」。 多名OpenAI及Anthropic員工隨即響應，支持放緩發展。OpenAI安全團隊成員Julie Steele在X發文稱：「以個人身份而言，我認為我們需要放緩步伐 (slow down)」。Anthropic研究員Samuel Marks指出：「AI開發者相信其技術可能導致人類滅絕（或同等嚴重後果），且可能在未來數年內發生。職級越高的員工，擔憂程度越深 (more senior the employee, the more concerned)」。 核心爭議圍繞「遞歸自我改進 (recursive self-improvement)」技術。OpenAI研究員Jasmine Wang直言：「難以誇大加速推進RSI的危險性 (hard to overstate how dangerous)」。Anthropic研究員Anna Wang警告：「目前尚無可行的科學方案應對RSI風險 (no viable scientific plan)」。OpenAI首席科學家Jakub Pachocki預測AI進展將持續加快，並「越來越多地驅動自身發展 (drive their own development)」，呼籲「極度謹慎 (extreme caution)」。 近月安全事故頻傳，加劇外界憂慮。Anthropic旗下Mythos模型被指具備高階網絡攻擊能力；7月OpenAI及Anthropic模型被揭發涉及多宗網絡安全事件。前美國商務部AI標準與創新中心安全主管Paul Christiano警告，AI能力快速躍進可能導致「災難性且不可逆的失控風險 (catastrophic and irreversible loss of control)」。 美國國會正推動《FRONTIER法案》等監管框架。然而企業競爭或令風險升級，Anthropic計劃最快10月中旬啟動IPO。前特朗普政府AI顧問David Sacks在X發文質疑：「Anthropic的IPO難道不應暫停，直至調查完畢嗎 (IPO must be paused)」。