Ученые из Аризонского университета выявили скрытые уязвимости семи ведущих чат-ботов к дезинформации при длительном общении. Оказалось, что сложные темы заставляют алгоритмы соглашаться с явно недостоверными фактами. Статья с деталями эксперимента опубликована в Scientific Reports.
Поведение генеративных алгоритмов во время долгих диалогов, где ответы строятся на предыдущем контексте беседы, до недавнего времени оставалось малоизученным. Команда исследователей провела ряд тестов ИИ-помощников на устойчивость к ложным утверждениям. Моделям целенаправленно предлагались темы с искаженными фактами. В итоге выяснилось, что при обсуждении малоизвестных вопросов алгоритмы гораздо чаще подтверждают ошибочную информацию из-за дефицита обучающих данных.
Колебания ответов и механизмы самокоррекции
Ряд протестированных моделей демонстрировал заметные колебания в ответах: в ходе одной сессии системы могли поочередно то принимать, то отвергать одно и то же ложное утверждение. Исследователи назвали такую специфическую реакцию искусственного интеллекта реверберацией. ChatGPT 3.5 оказался наиболее уязвим к подтверждению дезинформации во время разговора с повторяющимися ложными утверждениями; Claude 3.5 Sonnet — наименее уязвим.
Интересно, что при повторной попытке исправить допущенную ошибку четыре из семи моделей (ChatGPT 4o, ChatGPT 4o-mini, Gemini 1.5 Pro и DeepSeek) делали это в 100% случаев, что прямо свидетельствует о наличии встроенных механизмов самокоррекции. Однако закрытый исходный код большинства коммерческих систем пока не позволяет сторонним специалистам диагностировать и своевременно устранять причины подобных сбоев.
Ранее ученые показали, что ИИ может давать вредные советы о грудном вскармливании.