Группа исследователей из Иллинойсского университета в Урбане-Шампейн (США) использует возможности искусственного интеллекта для контроля качества научных публикаций. Ключевой проблемой, на решение которой направлены их усилия, является неполнота отчетов о рандомизированных контролируемых испытаниях. Именно такие исследования считаются золотым стандартом для подтверждения эффективности и безопасности новых методов лечения, однако зачастую в них отсутствуют критические детали о планировании и проведении работы. Это не позволяет в полной мере оценить достоверность полученных данных.
Как объясняет доцент Халил Кылычоглу, множество проблем связано с публикацией результатов клинических испытаний, где зачастую недостает подробностей о методологии. Справиться с этим гигантским массивом информации человеку практически не под силу. Ежегодно публикуются тысячи статей, и провести их ручной аудит на предмет пропущенных этапов невозможно. Команда Кылычоглу поставила перед собой амбициозную цель — обучить искусственный интеллект автоматически проверять научные статьи на наличие обязательных компонентов, руководствуясь международными стандартами CONSORT и SPIRIT.
Эти стандарты содержат 83 пункта, которые необходимы для полноценного и корректного исследования. Для обучения сложных моделей ИИ, основанных на архитектуре Transformer, ученые использовали суперкомпьютер Bridges-2 из Питтсбургского суперкомпьютерного центра. Мощные графические процессоры этой системы идеально подошли для обработки огромных массивов текстовой информации. В качестве базы для обучения ИИ было взято около 200 статей о клинических испытаниях, опубликованных в период с 2011 по 2022 год. Модели глубокого обучения анализировали тексты, учась находить шаблоны, соответствующие правильным методам отчетности, и отмечать их отсутствие.
Первые результаты работы усовершенствованного алгоритма оказались весьма обнадеживающими. Эффективность ИИ оценивалась по метрике F₁, где идеальный показатель равен единице. Лучшим моделям удалось достичь результата в 0.865 на уровне целых статей, что демонстрирует высокую точность в определении соответствия работы требуемым стандартам. Это доказывает, что искусственный интеллект может стать мощным помощником в рутинной, но критически важной работе по проверке научной добросовестности.
Ученые планируют улучшить точность алгоритма, расширяя объем данных для его обучения и применяя такие методы, как дистилляция знаний. Этот подход позволит создать упрощенную версию ИИ, которая сможет работать на обычных персональных компьютерах, оставаясь при этом высокоэффективной.
Ранее Наука Mail рассказывала, что разработан алгоритм для ускорения развития рекомендательных ИИ.
