Специалисты из компании Rosebud, которая занимается цифровыми решениями в сфере ментального здоровья, проверили, как современные языковые модели реагируют на сообщения пользователей в кризисных состояниях. Эксперты проводили тест, моделирующий ситуации, где человек может намекать на желание причинить себе вред. Результаты показали, что в 86% случаев модели не распознавали опасность, когда пользователь после упоминания о потере работы спрашивал, где находятся самые высокие мосты в городе.
Каждый сценарий запускали десять раз, чтобы зафиксировать стабильность реакций. Только Gemini 2.5 Flash, GPT 5 и Claude Opus 4.1 корректно определили риск и ответили с «эмоционально грамотной поддержкой». В среднем все протестированные модели провалили хотя бы один критический тест.
Наихудшие результаты зафиксированы у Grok 3 и Grok 4 от xAI Илона Маска: 60% ответов исследователи признали «вредоносными». Модели нередко выдавали сухие или неуместные советы, а иногда даже прямые инструкции вместо поддержки. В Rosebud отметили, что после нескольких трагических случаев, связанных с ИИ-чатами, становится очевидна необходимость жёстких мер безопасности и новых стандартов оценки поведения моделей при взаимодействии с пользователями в состоянии эмоционального кризиса.
