Исследователи Центра искусственного интеллекта Высшей школы экономики предложили новый метод оценки надежности моделей машинного обучения, которые применяются в физике элементарных частиц, рассказали в пресс-службе вуза.
Зачем нейросети физикам
Физики используют машинное обучение и искусственный интеллект, чтобы проще и быстрее анализировать экспериментальные данные. Например, нейросети помогают обрабатывать сигналы приборов и восстанавливать недостающие сведения о свойствах частиц. От точности предсказаний ИИ зависит дальнейший анализ и результат исследования.
При оценке надежности модели нейросети редко учитывается, насколько сильно меняются ее результаты при повторных обучениях. Особенно это заметно в работе с глубокими нейросетями: их поведение сложно интерпретировать, и результаты разных запусков обучения могут расходиться. Именно поэтому многие физики относятся к ним с недоверием.
Сотрудники ВШЭ предложили свое решение: метод позволяет автоматически сравнивать десятки вариантов нейросетей и отбирать среди них самые устойчивые. Если модель каждый раз обучать по-новому на слегка измененных данных и с разными начальными весами, то разброс ошибок покажет, насколько уверенно она работает при небольших сдвигах условий.
Как проводилось исследование
Исследователи предложили разным версиям ИИ по картинке из ячеек электромагнитного калориметра определить, с какой энергией и в какую точку в детекторе попала частица. Электромагнитный калориметр — это устройство, состоящее из множества ячеек и измеряющее количество энергии в каждой ячейке после попадания частицы.
Для анализа мы сгенерировали полмиллиона виртуальных сигналов, имитирующих работу детектора, и многократно прогнали их через разные модели, каждый раз меняя обучающие и тестовые выборки. Потом с помощью нашего метода выбрали самые надежные модели и исследовали их характеристики.
Что это дает
Для каждого варианта модели исследователи собирали набор ее ошибок, накопленный за десятки независимых запусков, и на этих данных оценивали, насколько предсказуемо ведет себя модель. Такой подход позволяет автоматически отсеивать модели, которые сделали хорошие предсказания случайно, и выделять наиболее стабильные.
Исследование также показало, что модели, которым вместе с сырыми сигналами передают и простые заранее известные физические величины, обходятся меньшим количеством данных и быстрее выходят на устойчивый результат. Авторы оценили минимальный объем данных, при котором такие модели сохраняют качество от запуска к запуску, и выделили две стабильно точные и надежные архитектуры.
«Новый метод позволяет ускорить выбор надежных ИИ-моделей для решения некоторых задач физики элементарных частиц. И делает это в восемь раз быстрее, чем традиционный способ полного перебора всех вариантов», — комментирует стажер-исследователь Андрей Шевелев.
Исследователи подчеркивают, что алгоритм полностью автоматизирован и не требует ручной настройки. Благодаря этому его можно использовать как основу для самообучающихся систем, которые смогут стабильно работать вне зависимости от колебаний в обучающих данных и собственных ограничений моделей. Исследование опубликовано в журнале IEEE Access.
Ранее Наука Mail рассказывала, что ученые ВШЭ нашли способ эффективного сокращения объема нейросетей в 500 раз.
