В журнале Proceedings of the International Conference on Machine Learning (ICML 2025) ученые представили новый способ атаки на системы компьютерного зрения. Исследователи из Университета штата Северная Каролина разработали RisingAttacK — технологию, способную манипулировать восприятием ИИ, практически не изменяя само изображение.
Такие атаки называются состязательными. В них хакеры специально искажают данные на входе, чтобы ИИ делал неправильные выводы. Например, система автопилота может «не увидеть» пешехода или светофор, а медицинский ИИ — не распознать патологию на рентгеновском снимке.
Как объясняет соавтор работы Тяньфу Ву, они хотели найти способ «взлома» таких систем, чтобы заранее выявить их слабые места. По его словам, это важно для безопасности в сферах, напрямую влияющих на здоровье и жизнь человека.
Метод RisingAttacK минимально изменяет ключевые визуальные характеристики изображения — те, на которые ориентируется ИИ. Сначала алгоритм находит самые значимые особенности, затем оценивает чувствительность модели к их изменениям. После этого вносит небольшие, но критичные правки. В результате для человека изображение почти не меняется, но для ИИ оно становится неузнаваемым.
Авторы протестировали RisingAttacK на четырех популярных моделях: ResNet-50, DenseNet-121, ViTB и DEiT-B. Во всех случаях атака была успешной. Следующий шаг — проверка, как этот подход влияет на другие типы ИИ, например, языковые модели.
Новый метод атаки на зрение ИИ поднимает вопрос: насколько уязвимы современные нейросети к внешним вмешательствам? Это особенно интересно на фоне недавней попытки ученых приблизить искусственное зрение к настоящему, взяв за образец архитектуру зрительной коры. Ранее Наука Mail рассказала, как исследователи вдохновились устройством мозга и предложили биологически правдоподобную модель нейросети.