Ученые из Технологического института Стивенса (США) разработали архитектуру на основе искусственного интеллекта, которая способна выявлять неточности и искажения в научных новостях.
Работа была представлена на ежегодной конференции Association for the Advancement of Artificial Intelligence. Суть проекта — в использовании открытых и бесплатных больших языковых моделей (LLM, в том числе Llama и ChatGPT) для оценки достоверности новостных материалов, связанных с научными открытиями.
По словам разработчиков, это первая системная попытка использовать LLM для оценки точности научных новостей в медиа.
Неверная информация — особенно в научной сфере — может навредить. Мы слышим это от врачей, обеспокоенных тем, что пациенты читают онлайн непроверенные сведения. Наша задача — автоматизировать выявление искаженных утверждений и помочь людям лучше понимать, что на самом деле говорят ученые.
Команда ученых собрала датасет из 2 400 новостных статей о научных прорывах. Он включал материалы из авторитетных научных изданий, статьи с сомнительных сайтов, известных публикацией фейков и тексты, сгенерированные ИИ — как достоверные, так и с ошибками.
К каждой статье прилагался оригинальный научный реферат, что позволяло сравнить, насколько точно новость передает суть исследования. Затем исследователи протестировали три архитектуры на основе LLM. Одна из них включала три последовательных этапа:
краткое содержание новости — модель определяет ключевые утверждения;
покадровое сравнение — каждое утверждение сверяется с оригинальной научной работой;
финальный вердикт — модель решает, искажает ли статья научную информацию.
Дополнительно команда ввела понятие «пяти измерений достоверности», включая типичные ошибки: например, упрощение, преувеличение или подмена корреляции причинностью. Эти измерения помогли повысить точность оценки.
Алгоритмы достигли точности около 75% в различении достоверных и недостоверных новостей — особенно хорошо работали на текстах, написанных людьми. А вот ИИ-генерированные статьи оказывались сложнее для анализа нейросети, как и для самих людей.
В перспективе такое исследование может привести к созданию браузерных расширений, автоматически помечающих недостоверные новости, рейтингов надежности изданий и новых языковых моделей, точнее описывающих научные открытия.
Следующим шагом может стать создание специализированных моделей, «мыслящих» как научные эксперты в конкретной области.
Ранее Наука Mail писала, что искусственный интеллект способен на эмпатию — правда, тоже по шаблону.