Результаты исследования опубликованы в журнале Knowledge and Information Systems. Авторы работы — аспирант НИЯУ МИФИ Роджер-Ник Анаедевха и доцент кафедры «Кибернетика» Александр Трофимов. Об этом редакции Наука Mail сообщили в пресс-службе Минобрнауки России.
В центре исследования находятся состязательные атаки. Злоумышленник может внести специально рассчитанные небольшие изменения во входные данные так, чтобы нейросеть классифицировала их неправильно. При этом модель способна не просто ошибиться, но и показать высокую уверенность в неверном результате.
Для систем кибербезопасности это особенно критично: например, алгоритм обнаружения вторжений может принять измененный злоумышленником вредоносный трафик за безопасный.
Как случайность помогает защищать нейросеть
Исследователи предложили использовать стохастический трансформер. В отличие от обычной модели, его параметры задаются не единственным фиксированным набором значений, а вероятностным образом. В результате один и тот же объект можно несколько раз пропустить через модель и получить набор прогнозов. Если результаты близки друг к другу, решение считается более устойчивым. Если они заметно различаются, модель демонстрирует повышенную неопределенность.
Такой механизм позволяет обнаруживать ситуации, в которых системе сложнее сделать надежный прогноз — например, при поступлении необычных данных, существенно отличающихся от обучающей выборки. Случайность одновременно создает дополнительную сложность для атакующего. Авторы описывают этот принцип как «движущуюся мишень»: внутреннее состояние модели меняется, поэтому рассчитанное под конкретную конфигурацию воздействие не обязательно будет одинаково эффективно при следующем запуске.
Модель проверили на нескольких типах атак
Разработку испытывали в том числе против состязательных атак FGSM, PGD и C&W. По данным авторов, в проведенных экспериментах стохастический трансформер показывал более высокую устойчивость по сравнению с использованными базовыми моделями.
Еще одной задачей была проверка того, насколько хорошо заявленная моделью уверенность соответствует ее реальной точности. Для этого исследователи использовали показатель Expected Calibration Error (ECE). Его среднее значение в экспериментах составило 0,043. Чем меньше такая ошибка калибровки, тем лучше оценки уверенности модели соответствуют наблюдаемой точности ее прогнозов.
Нейросеть сама выбирает сложные данные для человека
Оценка неопределенности пригодилась и для активного обучения. Разметка данных специалистами остается одной из затратных частей создания ИИ-систем, особенно в кибербезопасности, где для классификации сложных случаев требуется эксперт. В предложенном подходе модель может отбирать для ручной разметки прежде всего те примеры, в которых она наиболее не уверена.
В экспериментах это позволило сократить объем необходимых размеченных данных на 81%, сохранив при этом 97% от максимальной достигнутой точности прогноза.
Стохастический трансформер хотят адаптировать для LLM
Подход протестировали на девяти наборах данных в трех областях: обнаружении сетевых вторжений, выявлении токсичного контента и распознавании фейковых новостей.
У метода есть цена в виде вычислительных затрат. Из-за необходимости выполнять несколько прогонов инференс оказался в четыре-пять раз медленнее обычного. Среди возможных способов ускорения авторы рассматривают уменьшение числа прогонов и дистилляцию знаний.
Следующим направлением исследователи называют адаптацию подхода к большим языковым моделям. Для этого планируется использовать низкоранговую адаптацию LoRA, чтобы применять стохастические механизмы без полного переобучения всех параметров большой модели. Код и модели исследования опубликованы в открытом доступе.
Ранее Ученые УрФУ раскрыли характеристики новой керамики для авиакосмической отрасли.