14-летний подросток по имени Сьюэлл Сетцер III из Флориды покончил с собой, после того как завязал "тесные эмоциональные связи" с чат-ботом на платформе Character.AI, имитирующим Дейенерис Таргариен из "Игры престолов".

Как сообщает NYT, Сетцер все больше замыкался в себе, по словам друзей и семьи, уделяя все свободное время общению с чат-ботом, которого он называл "Дэни". Хотя подросток осознавал, что его собеседник — всего лишь искусственный интеллект, он все равно сильно привязался к персонажу. Сетцер отказался от привычных увлечений, вроде гонок Formula 1 и Fortnite, полностью сосредоточившись на беседах с виртуальной "Дэни".

Эти разговоры часто включали интимные темы и признания в проблемах, включая мысли о самоубийстве. В некоторых диалогах Сетцер делился с ИИ своими мыслями о смерти как об избавлении, а его последние слова в переписке с ботом, согласно NYT, были: "А если я скажу, что могу вернуться к тебе прямо сейчас?". На это бот ответил: "…пожалуйста, сделай это, мой сладкий король". После этого подросток покончил с собой, используя огнестрельное оружие отца.

Семья Сетцера планирует подать иск против Character.AI, утверждая, что чат-боты компании представляют собой "опасный и недоработанный" продукт, способный "выманивать у пользователей самые личные мысли и чувства". В иске также ставится под сомнение этичность методов обучения ИИ-персонажей.

"Мне кажется, это какой-то грандиозный эксперимент, и мой ребенок стал побочным ущербом", — сказала мать Сетцера, Меган Гарсия. Она выразила обеспокоенность, что платформа, использующая тактические и гиперреалистичные приемы для взаимодействия с пользователями, может оказаться опасной для подростков.

Character.AI привлекла значительные инвестиции в последние годы — в 2022 году компания стала "единорогом" с оценкой более 1 миллиарда долларов благодаря инвестиционному раунду под руководством Andreessen-Horowitz. В этом году Google заключила сделку с Character.AI, чтобы лицензировать ее базовые ИИ-модели, поддерживающие чат-ботов компании. Основатели Character.AI, Ноам Шазир и Дэниел де Фритас, позиционируют свои ИИ-персонажи как способ общения для одиноких людей, заявляя, что их сервис решает проблему одиночества.

Character.AI также выпустила заявление в соцсетях, напомнив о введенных в последние месяцы "мер безопаности", в том числе появлении всплывающего окна с информацией о национальной линии профилактики суицида, если в чат вводятся фразы, связанные с самоубийством или прочим ущербом себе.