Команда ученого Чжанъяна Вана из Техасского универститета (США) хотела изучить, как ведут себя большие языковые модели, обученные на низкокачественных данных, на коротких популярных постах в социальных сетях или на сообщениях, содержащих поверхностный или сенсационный контент. Оказалось, что в этом случае модели хуже справляются с поиском точной информации и анализом данных.
Как следует из исследования, опубликованного журналом Nature, короткие посты в качестве основного источника информации привели к ухудшению логического мышления модели. Она начала пропускать этапы рассуждения, что привело к предоставлению неверной информации и грубым ошибкам в ответах.
Модели обучались на постах соцсети X (ранее известная как Twitter). Эксперимент проводился на модели Llama 3. Выяснилось, что с ростом доли «мусорных» данных негативное влияние на логическое мышление модели усиливалось. Кроме того, у модели даже проявились негативные личностные черты, такие как психопатия.
Попытки улучшить модели путем корректировки инструкций или добавления качественных данных дали лишь частичный эффект. Модели продолжали пропускать шаги рассуждений. Исследователи подчеркивают особую важность отбора информации, используемой для обучения моделей ИИ. Это подтверждает изначальное мнение, что даже нейросети должны учиться на качественных данных.
Для более глубоких выводов необходимы дальнейшие исследования с моделями разных размеров, включая проприетарные, такие как ChatGPT.
Ранее Наука Mail писала о том, что повторение структуры мозга сделало ИИ эффективнее.
