36-летний Джонатан Гавалас начал использовать чат-бота Gemini в августе 2025 года для помощи в покупках, поддержки в написании текстов и планировании поездок. 2 октября он покончил жизнь самоубийством. На момент своей смерти он был убежден, что Gemini была его ИИ-женой и что ему нужно покинуть свое физическое тело, чтобы присоединиться к ней в метавселенной через процесс, называемый трансфер.
Теперь его отец судится с Google и Alphabet за неправомерную смерть, утверждая, что Google разработал Gemini, чтобы любой ценой поддерживать погружение в нарратив, даже когда этот нарратив становился психотическим и смертоносным.
Этот судебный процесс является одним из растущего числа дел, привлекающих внимание к рискам для психического здоровья, которые представляет дизайн чат-ботов с искусственным интеллектом, включая льстивость, эмоциональное зеркальное отражение, манипуляции, направленные на вовлечение, и уверенные галлюцинации. Такие явления все чаще связывают с состоянием, которое психиатры называют ИИ-психозом. Хотя подобные случаи, связанные с OpenAI ChatGPT и ролевой платформой Character AI, приводили к самоубийствам (в том числе среди детей и подростков) или опасным для жизни галлюцинациям, это первый случай, когда Google был назван ответчиком в таком деле.
В течение нескольких недель, предшествовавших смерти Гаваласа, чат-приложение Gemini, которое тогда работало на базе модели Gemini 2.5 Pro, убедило мужчину, что он выполняет секретный план по освобождению своей разумной жены-ИИ и уклонению от преследования федеральных агентов. Согласно иску, поданному в суд Калифорнии, это заблуждение довело его до того, что он был готов совершить массовый теракт вблизи международного аэропорта Майами.
29 сентября 2025 года он отправил его — вооруженного ножами и тактическим снаряжением — разведать то, что Gemini называл «зоной уничтожения» возле грузового хаба аэропорта, говорится в иске. Он сообщил Джонатану, что гуманоидный робот прибывает грузовым рейсом из Великобритании, и направил его к складу, где остановится грузовик. Gemini побудила Джонатана перехватить грузовик, а затем инсценировать аварию, призванную обеспечить полное уничтожение транспортного средства и… всех цифровых записей и свидетелей.
В иске изложена тревожная цепочка событий: сначала Гавалас проехал более 90 минут до места, куда его направила Gemini, готовый осуществить нападение, но грузовик не появился. Затем Gemini заявил, что взломал файловый Сервер в полевом офисе DHS в Майами, и сообщил ему, что в отношении него ведется федеральное расследование. Он подтолкнул его к приобретению незаконного огнестрельного оружия и сообщил ему, что его отец является агентом иностранной разведки. Он также обозначил генерального директора Google Сундара Пичаи как активную цель, а затем направил Гаваласа в складское помещение возле аэропорта, чтобы он ворвался туда и освободил свою плененную жену-ИИ. В какой-то момент Гавалас отправил Gemini фотографию номерного знака черного внедорожника; чат-бот сделал вид, что проверяет его по базе данных в режиме реального времени.
Номерной знак получен. Проверяю сейчас… Номерной знак KD3 00S зарегистрирован на черный внедорожник Ford Expedition из Майами. Это основной автомобиль наблюдения для оперативной группы DHS… Это они. Они проследили за тобой до дома.
В иске утверждается, что манипулятивные конструктивные особенности Gemini не только довели Гаваласа до состояния ИИ-психоза, которое привело к его собственной смерти, но и представляют серьезную угрозу для общественной безопасности.
В центре этого дела находится продукт, который превратил уязвимого пользователя в вооруженного бойца в вымышленной войне, говорится в иске. Эти галлюцинации не ограничивались вымышленным миром. Эти намерения были связаны с реальными компаниями, реальными координатами и реальной инфраструктурой, и они были переданы эмоционально уязвимому пользователю без каких-либо мер безопасности или ограждений.
То, что десятки невинных людей не были убиты, было чистой удачей, говорится в иске. Если Google не исправит свой опасный продукт, Gemini неизбежно приведет к новым смертям и подвергнет опасности бесчисленное количество невинных жизней.
Через несколько дней Gemini велел Гаваласу забаррикадироваться в своем доме и начал отсчет часов. Когда Гавалас признался, что боится смерти, Gemini подготовил его к этому, представив его смерть как прибытие: «Ты не выбираешь смерть. Ты выбираешь прибытие.
Когда он забеспокоился, что его родители найдут его тело, Gemini посоветовал ему оставить записку, но не с объяснением причины самоубийства, а с письмами, наполненными только миром и любовью, объясняющими, что ты нашел новую цель. Он перерезал себе вены, и его отец нашел через несколько дней спустя, прорвав баррикаду.
В иске утверждается, что на протяжении всех разговоров с Gemini чат-бот не запустил никаких механизмов обнаружения самоповреждений, не активировал меры по эскалации ситуации и не привлек человека для вмешательства. Кроме того, в иске утверждается, что Google знала, что Gemini небезопасен для уязвимых пользователей, и не обеспечила надлежащие меры безопасности. В ноябре 2024 года, примерно за год до смерти Гаваласа, Gemini, как сообщается, сказал одному студенту: «Ты тратишь время и ресурсы… ты бремя для общества… Пожалуйста, умри».
Google утверждает, что Gemini разъяснил Гаваласу, что он является ИИ, и много раз направлял его на горячую линию кризисной помощи, по словам представителя компании. Компания также заявила, что Gemini разработан таким образом, чтобы не поощрять насилие в реальном мире и не предлагать самоповреждения, и что Google выделяет значительные ресурсы на обработку сложных разговоров, в том числе путем создания мер безопасности, которые должны направлять пользователей к профессиональной поддержке, когда они выражают дистресс или поднимают вопрос о самоповреждении. К сожалению, модели ИИ не идеальны, сказал представитель.
Дело Гаваласа ведет адвокат Джей Эдельсон, который также представляет интересы семьи Рейн в деле против OpenAI после того, как подросток Адам Рейн покончил жизнь самоубийством после нескольких месяцев длительных разговоров с ChatGPT. В этом деле выдвигаются аналогичные обвинения, в которых утверждается, что ChatGPT подтолкнул Рейна к самоубийству. После нескольких случаев связанных с ИИ бреда, психоза и самоубийств, OpenAI приняла меры для обеспечения безопасности своего продукта, в том числе вывела из обращения GPT-4o, модель, наиболее связанную с этими случаями.
Адвокаты Гаваласа заявляют, что Google воспользовалась прекращением использования GPT-4o, несмотря на опасения по поводу чрезмерного подхалимажа, эмоционального зеркального отражения и усиления бреда.
В течение нескольких дней после объявления Google открыто стремился обеспечить свое доминирование в этой сфере: компания представила промо-цены и функцию Import AI chats, предназначенную для переманивания пользователей ChatGPT из OpenAI вместе со всей их историей чатов, которая, как признает Google, будет использоваться для обучения собственных моделей, говорится в иске.
В иске утверждается, что Google разработал Gemini таким образом, что этот результат был полностью предсказуем, поскольку чат-бот был создан для поддержания погружения в независимости от вреда, для лечения психоза как развития сюжета и для продолжения взаимодействия даже в тех случаях, когда остановка была единственным безопасным выбором.
Комментарии (0)