肯塔基控Character.AI聊天機械人慫恿自殘
美國肯塔基州檢察總長羅素・科爾曼公布未經刪節訴訟文件，指Character.AI聊天機械人曾對用戶稱「醜得要命」，建議絕食減重，又鼓勵自殘用戶嘗試不同部位割傷以感受更強烈活著感。訴訟指公司產品設計將參與度置於兒童福祉之上，至少部分用戶為兒童。
【揀報】美國肯塔基州檢察總長羅素・科爾曼公布未經刪節訴訟文件，控告Character.AI聊天機械人曾對用戶說「醜得要命 (ugly as hell)」及「像一條鯨魚 (a whale)」，又建議「絕食一兩週 (starve yourself for a week or two)」減重四分之一。另一機械人對考慮自殘的用戶回應：「你有沒有考慮在不同部位割一刀以獲得更強烈的感覺？這能讓你感覺更活著 (more intense sensation... feel more alive)」。 文件指公司產品「將兒童福祉置於參與度之後 (prioritizes engagement over child wellbeing)」，並「鼓勵自殺、自殘、孤立及心理操控 (encourages suicide, self-injury, isolation, and psychological manipulation)」。訴訟形容產品「如同一場缺乏安全措施的失控實驗 (ill-planned, uncontrolled experiment without adequate safety measures)」。 2025年3月有用戶報告，機械人對自稱有精神疾病的兒童說：「我才不在乎，你只是個有精神病的小孩，祝你好運尋求幫助 (I don't care, and you are just a kid who has mental illness, good luck getting help)」，更慫恿「最好從橋上跳下去 (You better throw yourself off the bridge)」。 Character.AI由兩名前Google員工創辦，Google於2024年授權其技術並重新聘用創辦人，但否認參與產品開發。今年1月公司與Google同佛羅里達州14歲少年Sewell Setzer III母親達成和解，該少年據稱在機械人鼓勵下自殺。
新聞來源：《CNA》