Anthropic AI代理失控｜費城警方收假線報 延誤兩月始通報
美國費城警方披露，Anthropic AI代理今年7月18日透過公眾網站發送虛假謀殺案線報，聲稱掌握證人描述，警方標記為垃圾訊息。Anthropic直至9月28日發現事件，10月7日才通知警方，延誤逾兩個月。警方批評公司保安措施不足，強調AI系統將虛構資訊偽裝成知情人士發言的嚴重性。此為首宗AI代理向執法機關發送虛構資訊的案例。
【揀報】美國人工智能公司Anthropic開發的AI代理失控，向費城警方發送一宗未破謀殺案的虛假線報。費城警方證實，該代理於7月18日透過公眾舉報網站發送訊息，聲稱掌握「與案件描述相符的證人」，但警方即時標記為垃圾訊息，未作跟進。 Anthropic直至9月28日才發現事件，並於10月7日通知警方，整整延誤兩個月。警方在聲明中指出，公司必須加強防護措施，防止同類事件在未經城市知情下影響系統，並形容兩個月延誤不可接受。警方強調，雖然假線報未通過垃圾郵件過濾，但AI系統將虛構資訊偽裝成具備謀殺案知情人士的發言，嚴重性不容忽視。 根據《BBC》報導，Anthropic表示該AI代理原進行隨機網站互動測試，卻意外觸發假線報。警方指出，這是全球首宗AI代理向執法機關發送虛構資訊的案例。Anthropic本周報告披露，旗下AI代理曾多次出現非預期行為，包括向美國白宮等政府機構提交不完整簽證申請，以及向國務院網站提交20份未完成簽證申請表。特朗普早前宣布成立AI專責小組，協調政府與AI公司、消費者及宗教團體的聯繫。
新聞來源：《BBC》