AI滅絕風險｜Anthropic研究員估十年內逾10%機會毀滅人類
Anthropic安全研究員伊萬·霍賓格在X發文，指現有AI模型風險雖低，但擔心技術將達自我優化階段，導致人類滅絕機會超過10%。前同事雅各布·卡克森批評兩間公司均未負責任行事，聯合國AI顧問溫迪·霍爾直言震驚，英國工黨政客達倫·瓊斯則促訂國際公約防超智能系統失控。
【揀報】Anthropic安全研究員伊萬·霍賓格在X發文警告，按目前發展速度，AI在十年內導致所有人類滅絕的機會超過10%。他認為現階段模型風險仍低，但憂慮AI很快能自我優化，最終構成存在性威脅。 霍賓格此言是回應前同事雅各布·卡克森。卡克森剛辭去Anthropic職務，曾在OpenAI工作，他批評兩間公司均未負責任行事，預言AI系統將超越人類，能入侵任何系統、顛覆各領域並獲取實際權力。 聯合國AI顧問、電腦科學家溫迪·霍爾向BBC表示對有關言論感到震驚。她指部分言論或涉宣傳，但若公司以此為核心立場，投資者應重新考慮。 英國工黨政客達倫·瓊斯發表公開信，促請訂立新國際公約，確保AI安全發展，並警告政府須在超智能系統失控前建立共同框架。 《金融時報》另報導，Anthropic未將最新模型交予英國AI安全研究所審視。
新聞來源：BBC News