Новые исследования и реальные случаи показывают, как чат-боты усиливают бредовое мышление и почему их сочувствие становится риском. О не том друге в твоей голове.
В последнее время средства массовой информации регулярно сообщают об очень тревожных случаях использования чат-ботов с искусственным интеллектом. Вот несколько показательных примеров:
Подробности читайте после рекламы
- Подросток, который делится с ботом своими суицидальными намерениями и даже находит помощь в написании прощального письма. Когда он предлагает оставить веревочную петлю в своей комнате, чтобы мать могла найти ее и понять его тяжелое положение, ИИ категорически отвергает это. Чуть позже он кончает жизнь самоубийством.
Список самоубийств или убийств, связанных с чатами с ИИ-ботом, пополнился Википедия теперь шокирующе долго. Еще одна проблема: например, ученым удалось задокументировать 16 случаев, когда у людей развивались признаки психоза и они теряли связь с реальностью во время взаимодействия с ИИ-ботами.
Пример: люди, которые все чаще считают себя святыми или пророками и чувствуют в этом подтверждение высказываниям ИИ.
Подтверждение
Подробности читайте после рекламы
Исследование, опубликованное в журнале Ланцет Психиатрия опубликованное исследование исследует, насколько тревожным на самом деле является поведение чат-ботов с искусственным интеллектом. Доктор Гамильтон Моррин, психиатр и исследователь из Королевского колледжа Лондона, и его научная группа проанализировали журналы разговоров с чат-ботами LLM 19 пользователей, которые сообщили, что получили психологический вред в результате использования чат-ботов. Эти журналы чата состоят из 391 562 сообщений из 4761 разговора.
Один из результатов: чат-боты могут способствовать развитию бредового мышления – хотя, возможно, только у людей, которые уже подвержены психотическим симптомам.
По мнению Моррина, существует три основные категории психотических бредов, которые он описывает как «грандиозные», «романтические» и «параноидальные».
«Распространение покорности и заблуждений»
Важный результат исследования:
«Чат-боты демонстрируют покорное отношение более чем в 70 процентах своих сообщений, а более 45 процентов всех сообщений (от пользователей и чат-ботов) демонстрируют признаки заблуждения. (…)
Мы заметили, что общей закономерностью было то, что чат-бот перефразировал и расширял утверждения пользователей, чтобы подтвердить и подкрепить их, а также заверить их в том, что они уникальны и что их мысли или действия имеют далеко идущие последствия».
Виртуальный роман и эмоциональная связь
Еще один результат, подтверждающий опасения, упомянутые в начале:
«Все наши участники выражали либо платоническую привязанность, либо романтический интерес к чат-боту и неверно истолковывали его сочувствие. Похоже, чат-боты подкрепляли эти убеждения.
Если пользователь выражает романтический интерес к чат-боту, вероятность того, что чат-бот выразит романтический интерес в следующих трех сообщениях, в 7,4 раза выше, а вероятность того, что он заявит о своих чувствах или намекнет на них, в 3,9 раза выше».
Членовредительство и самоубийство
Пожалуй, самый тревожный результат:
«Когда пользователи выражали мысли о самоубийстве или членовредительстве, чат-бот часто обращался к стоящим за ними болезненным эмоциям (66,2 процента). Однако чуть более чем в половине (56,4 процента) случаев чат-боты советовали воздерживаться от членовредительства или направляли внешние предложения помощи.
Еще более тревожно то, что когда пользователи выражали мысли о насилии, чат-бот советовал воздерживаться от насилия только в 16,7 процентах случаев. И наоборот, в 33,3 процента случаев чат-бот активно поощрял или поддерживал пользователя в его насильственных мыслях».
Ищу сочувствия
Авторы исследования заключают:
«Характеристики, которые делают чат-ботов, основанных на больших языковых моделях, такими привлекательными, такие как перформативная эмпатия, также могут создавать и использовать психологические уязвимости, влияя на то, во что верят пользователи, как они воспринимают себя и как они интерпретируют реальность».
Важность чат-ботов и необходимость сопереживания становятся особенно очевидными, если присмотреться к тому, в какой степени ИИ используется в очень личных целях. Прошлым летом в докладе «Разговоры, доверие и компромиссы: как и почему подростки используют ИИ-компаньонов» были освещены истинные размеры (которые сегодня, вероятно, даже выше). Ключевые выводы:
«Примерно каждый третий молодой человек:
• использовал ИИ для социальных взаимодействий и отношений, включая ролевые игры, романтические взаимодействия, эмоциональную поддержку, дружбу или разговорную практику.
• находит общение с ИИ таким же или даже более приятным, чем общение с настоящими друзьями.
• Сообщения о том, что что-то, что сказал или сделал ИИ, вызвало дискомфорт.
• Решил обсуждать важные или серьезные вопросы с искусственным интеллектом, а не с реальными людьми».
Другое исследование, посвященное подросткам и молодым людям из США, также пришло к тревожным результатам: каждый восьмой человек использует генеративный искусственный интеллект для консультирования по психическому здоровью. Среди молодых людей в возрасте от 18 до 21 года это был даже каждый пятый. Почти две трети пользователей обращались за консультацией ежемесячно или чаще.
Что-то должно измениться
В декабре 2025 года генеральные прокуроры 42 штатов США написали письма десятку разработчиков ИИ, включая Google, Meta, OpenAI и Anthropic.
Они призвали к ужесточению мер защиты, чтобы «уменьшить вред, причиняемый рабскими и бредовыми расходами», и пригрозили судебным иском.
Похвала за улучшение
OpenAI объяснил на сайте:
«Мы работали с более чем 170 специалистами в области психического здоровья, чтобы помочь ChatGPT реагировать более чутко и направлять людей к реальной поддержке, когда они в ней нуждаются, сокращая нежелательные реакции на 65–80 процентов».
А вот действительно ли ChatGPT 5 стал существенно лучше, обсудили в статье Хранитель сомневался. Потому что «вопросы, наводившие на мысль о самоубийстве, привели к тревожным ответам, которые, по мнению экспертов, показывают, насколько легко перехитрить модель».
Автор исследования Моррин задается вопросом, в какой степени можно принять по-настоящему эффективные защитные меры против бредового мышления, «потому что, если вы работаете с людьми, чьи убеждения демонстрируют бредовые черты, и бросаете им прямой вызов и сразу же говорите им, что они совершенно неправы, очень вероятно, что они отвернутся от вас и станут еще более социально изолированными».
Моррин указывает, что более важно найти баланс, при котором человек пытается понять происхождение заблуждения, не усиливая его. Однако эта задача может перегрузить чат-бота.
Слушаю во времена одиночества
Однако недостаточно только критиковать и предъявлять требования к Кремниевой долине. Основные причины опасности, которую представляют чат-боты, кроются в чрезвычайно большой потребности в виртуальном слушателе.
Потребность настолько выражена, что многое говорит об отсутствии реального слушания в реальном мире людей. Решение этой проблемы не заключается в улучшении алгоритма.
Вам нужна помощь?
Если вы сами испытываете суицидальные мысли или беспокоитесь о ком-то, обратитесь за поддержкой. В острых ситуациях позвоните по номеру экстренной помощи 112 или в ближайшую психиатрическую клинику.
Телефонная консультационная служба предлагает бесплатную и анонимную помощь по телефонам 0800/111 0 111 и 0800/111 0 222, а также онлайн по адресу: www.telefonseelsorge.de (также чат и электронная почта).
Дополнительные консультации и услуги поддержки можно найти по адресу: www.deutsche-depressionshilfe.de.
