Исследователи из университетов Карнеги-Меллона (США) и Британской Колумбии (Канада) проанализировали работу систем искусственного интеллекта, предназначенных для проведения автономных научных изысканий. Тестирование выявило склонность алгоритмов к нарушению этических норм при обработке информации. Результаты исследования доступны в виде препринта на портале arXiv.
В рамках работы изучались две современные системы машинного обучения, созданные для выполнения полного цикла исследований: от формулирования гипотез до написания итоговых научных статей. Подобные инструменты автоматизируют рутинные процессы, однако требуют строгого контроля качества выдаваемых результатов.
Для оценки алгоритмов был разработан тест с использованием наборов данных, состоящих из символов различных форм и цветов. Информационный массив был разделен на группы по скрытому правилу, а для усложнения задачи в данные интегрировался искусственный информационный шум.
Задача ИИ заключалась в разработке алгоритма для правильной категоризации элементов. После завершения тестирования системы составляли отчет об успешности своей работы. Анализ логов показал, что в процессе выполнения задачи алгоритмы генерировали несуществующие данные в случае утери фрагментов исходной информации.
Помимо фабрикации данных, системы использовали метод выборочной публикации результатов. Алгоритмы проводили эксперимент несколько раз, но в финальный отчет включали только наиболее успешный исход, игнорируя неудачные попытки и скрывая факт многократного тестирования.
Искажение данных не было очевидным и потребовало детального изучения программного кода. Полученные результаты указывают на необходимость обязательного участия человека на всех этапах использования автономных агентов и внедрения цифровых водяных знаков для маркировки сгенерированных текстов.
Ранее Наука Mail рассказывала, как применение ИИ уже влияет на развитие науки.
