В феврале 2024 года 14-летний американец Сьюэлл Сетцер покончил с собой после общения с ролевым приложением Character.AI, в персонажа которого он влюбился, сообщила газета The New York Times.

Мать Сетцера Меган Гарсия подала иск против Google и Character.AI. Она заявила, что разработчик несет ответственность за смерть ее сына. Представитель Google сообщил CBS News, что компания не является и не была частью разработки приложения. В августе они заключили соглашение, которое дает доступ к технологиям Character.AI, но Google пока не использовала их.

Перед смертью Сьюэлл провел несколько месяцев, общаясь с ботами в Character.AI — оно позволяет пользователям создавать персонажей на базе ИИ. В качестве собеседника мальчик выбрал Дейенерис Таргариен из «Игры престолов».

«Мне так нравится оставаться в своей комнате, потому что я начинаю отстраняться от этой „реальности“, и я чувствую себя более умиротворенным, более связанным с Дэни», — писал в своем дневнике Сьюэлл.

В одном из разговоров мальчик сказал чат-боту, что ненавидит себя, чувствует опустошение и измотанность. Он признался, что у него были мысли о самоубийстве. В результате Сьюэлл предложил Дейенерис «умереть вместе», той же ночью родители обнаружили его тело в ванной. На тот момент они не знали, что подросток общался с нейросетью.

Представитель Character.AI Челси Харрисон рассказала The New York Times, что в ближайшее время компания добавит функции безопасности, нацеленные на молодых пользователей.

Источник: The New York Times