Компания OpenAI выпустила исследование, где подробно объяснила, почему языковые модели уверенно выдают ложь. Суть в том, что алгоритм всегда строит ответ по частям, предсказывая следующее слово. Ошибки накапливаются, и чем длиннее ответ, тем выше риск.
Даже если бы модели обучались только на идеально чистых данных, они все равно бы ошибались, сообщается в пресс-релизе компании. Например, авторы проверили, как современные системы отвечают на простой вопрос о дате рождения одного из авторов исследователя Адама Калая. Модель DeepSeek-V3 трижды назвала разные даты, и все были выдуманы.
Проблема не только в устройстве алгоритмов, но и в системе оценки. Большинство популярных тестов наказывают модель одинаково за честное «не знаю» и за откровенную ошибку. В итоге выгоднее угадать, чем промолчать. Именно это и приводит к «уверенным» неточностям, отмечает автор The Conversation Вэй Син, доцент школы математических и физических наук Шеффилдского университета
Исследователи OpenAI предлагают изменить систему: учитывать уверенность модели и отвечать только тогда, когда вероятность ошибки мала. Тогда выдумок станет меньше. Но эксперт предупреждает: если ChatGPT начнет чаще говорить «я не знаю», пользователи могут просто уйти. К этому добавляется вопрос стоимости. Чтобы оценить уверенность, модель должна просчитать больше вариантов ответа, а значит, расходовать больше ресурсов. Для бизнеса это оборачивается огромными затратами.
Для критически важных сфер вроде медицины или финансов затраты оправданы: лучше заплатить за точность, чем рисковать жизнями или деньгами. Но в массовых сервисах пока побеждает скорость: галлюцинации у ИИ сохранятся, пока люди не начнут требовать честного ответа.
Ранее Наука Mail рассказывала, как пользователи раскритиковали новую модель чат-бота GPT-5.
