Ученым важно следить за новейшими исследованиями. Однако это непросто — ежегодно публикуются миллионы научных работ. ИИ может помочь, потому что он способен быстро обрабатывать огромные объемы информации. Но на практике универсальные модели часто подводят. Они склонны уверенно выдумывать источники и плохо ориентируются в свежих статьях, опубликованных уже после их обучения.
Это подтвердило исследование ученых из Вашингтонского университета и Института искусственного интеллекта имени Аллена (Ai2). При проверке модели GPT-4o выяснилось, что от 78 до 90% научных ссылок, которые она приводила, были сфабрикованы. Для научной работы это критично — такие ошибки делают ответы бесполезными или даже опасными.
В ответ на эту проблему исследователи разработали OpenScholar — открытую модель ИИ, специально предназначенную для синтеза научных данных. Вместе с ней появился и ScholarQABench — первый крупный междисциплинарный бенчмарк для оценки того, насколько хорошо ИИ умеет искать, обобщать и корректно цитировать научные работы.
OpenScholar обучили на базе из 45 млн статей и дополнили механизмом генерации с расширенным поиском. Он позволяет системе находить новые публикации уже после обучения и встраивать их в ответы с проверяемыми ссылками. Благодаря этому модель опирается на реальные и актуальные исследования.
В тестах OpenScholar сравнили с GPT-4o и другими моделями. Система показала лучшие результаты по точности, связности и релевантности. Группа из 16 ученых оценивала ответы и в 51% случаев предпочитала вариант OpenScholar экспертным текстам. Когда его алгоритмы цитирования объединили с GPT-4o, доля предпочтений в пользу ИИ выросла до 70%. Для самой GPT-4o этот показатель составил лишь 32%.
Результаты опубликованы в журнале Nature. Код, данные и демоверсия проекта выложены в открытый доступ, и, по словам разработчиков, системой уже активно пользуются исследователи для обзоров литературы и поиска новых работ.
Ранее Наука Mail рассказывала о том, что выпускник ТГУ Виталий Теренин разрабатывает ИИ-систему DocAI — карманного ассистента для медиков.
