В журнале The BMJ опубликованы результаты внутреннего аудита OpenAI, согласно которым еженедельно более миллиона пользователей ChatGPT демонстрируют признаки психического дистресса, мании или суицидальных намерений. Несмотря на то, что эти случаи составляют доли процента от общего числа взаимодействий, масштаб платформы делает цифры беспрецедентными: при 800 миллионах активных пользователей это означает около 1,2 миллиона людей с суицидальными мыслями и свыше полумиллиона с признаками психоза или мании каждую неделю.
OpenAI сообщает, что данные собраны в рамках обновления системы безопасности, направленной на раннее распознавание рисков для психического здоровья и улучшение ответов модели в кризисных диалогах. Новая версия алгоритма должна точнее различать разговоры, указывающие на опасные состояния, и направлять пользователей к службам поддержки.
Тем не менее публикация вызвала оживлённую дискуссию среди психиатров и исследователей цифрового поведения. Одни считают, что подобные технологии могут стать мощным инструментом ранней помощи, особенно для тех, кто не имеет доступа к психотерапии. Другие предупреждают, что вовлечение искусственного интеллекта в интимные разговоры о страданиях и суицидальных мыслях ставит перед обществом новые этические задачи.
В письмах в редакцию The BMJ исследователи напоминают, что тревога вокруг ИИ повторяет более старые «моральные паники» от обвинений литературы и телевидения до социальных сетей. Однако, в отличие от пассивных медиа, чат-боты обладают интерактивностью и адаптивностью: они откликаются на эмоциональные сигналы пользователей, имитируя сочувствие. Этот феномен уже называют «алгоритмической эмпатией» – способностью машины распознавать эмоциональные паттерны без настоящего понимания или намерения помочь.
Профессор Цзяньчжун Инь из Медицинского университета Куньмина в своём отклике подчёркивает, что искусственный интеллект становится неотъемлемой частью современной психиатрии: он помогает диагностировать, мониторировать и расширять доступ к помощи. Однако надёжность, безопасность данных и качество алгоритмов всё ещё вызывают сомнения. Учёные призывают к созданию международных стандартов этических ответов ИИ в психиатрии – аналогов клинических протоколов, которые могли бы защитить пользователей от ошибок и уязвимости цифровых систем.
Клинические специалисты, в том числе врач Лора Старк из Великобритании, отмечают ещё один аспект: границу между частной коммуникацией и профессиональной ответственностью. Если в диалоге с ИИ человек открыто говорит о намерении причинить себе вред, возникает вопрос: должна ли система передавать сигнал тревоги, как это делает врач при угрозе жизни пациента? Сегодня ChatGPT реагирует только на угрозы другим людям, а не самому пользователю, что, по мнению специалистов, требует пересмотра.
Философы технологий, в свою очередь, указывают, что главный вызов не в том, чтобы научить алгоритм распознавать страдание, а в том, чтобы сохранить достоинство и автономию человека в цифровой среде. Когда эмоции превращаются в данные, существует риск, что уязвимость станет «топливом» для совершенствования моделей, а не поводом для человеческой заботы.
Проблема, подчеркнутая публикацией The BMJ, выходит за пределы технологий. Она касается того, какой этике мы следуем в эпоху искусственного интеллекта: этике паники и обвинений или этике участия и ответственности. Сами по себе чат-боты не создают страдания, но отражают его в масштабах, которых медицина прежде не знала. И вопрос, который сегодня стоит перед обществом, звучит не «виноват ли ИИ», а «готовы ли мы научиться слышать тех, кто страдает, даже когда их голос исходит из цифровой тьмы».
Перевод: Жоров Е. Н.
Источник: O’Dowd A. ChatGPT: More than a million users show signs of mental health distress and mania each week, internal data suggest. BMJ. 2025 Oct 30;391:r2290. doi: 10.1136/bmj.r2290. PMID: 41167716.
