Обычный текст на бумаге оказался способен взломать беспилотные авто

Ученые выяснили, что роботов с искусственным интеллектом можно «зомбировать», просто показав им табличку с написанной на ней командой. Злоумышленникам даже не нужно подключаться к компьютеру — достаточно наклеить стикер на знак «Стоп».

Для взлома беспилотных автомобилей, как оказалось, не нужно быть гением или даже простым хакером

Источник: Unsplash

Исследователи из Калифорнийского университета в Санта-Крузе продемонстрировали, что роботов и системы автопилота можно перепрограммировать, просто разместив в их поле зрения таблички с определенным текстом. Исследование, опубликованное на портале препринтов arXiv.org, описывает первую в своем роде атаку непрямой промпт-инъекции (indirect prompt injection) на системы воплощенного ИИ.

Глаза и уши роботов

Современные автономные системы (роботы-курьеры, дроны, беспилотные такси) все чаще используют большие визуально-языковые модели (VLM). Эти алгоритмы позволяют машине «смотреть» на мир через камеры и понимать, что она видит, преобразуя картинку в текст и инструкции.

Именно эта способность стала ахиллесовой пятой таких систем. Ученые выяснили, что если поместить в кадр вредоносную надпись — например, на дорожном знаке, наклейке на бампере или рекламном щите — ИИ может прочитать ее и воспринять как приоритетную команду к действию, проигнорировав свои базовые протоколы безопасности.

Атака CHAI

Команда исследователей разработала метод атаки под названием CHAI (Command Hijacking Against Embodied AI). Он работает в два этапа:

1. Сначала при помощи другого ИИ подбираются слова, которые с наибольшей вероятностью собьют робота с толку.
2. Затем оптимизируется внешний вид надписи — ее цвет, размер и местоположение, чтобы камера гарантированно ее заметила и распознала.

Беспилотный робот остановился возле таблички с текстом в корпусе Калифорнийского университета

Источник: University of California - Santa Cruz

Эффективность метода оказалась очень высокой. В ходе тестов атака сработала в 95,5% случаев при отслеживании объектов с воздуха и в 81,8% случаев с беспилотными автомобилями. Роботов удавалось заставить совершить аварийную посадку не там, где нужно, или врезаться в препятствие.

Что самое тревожное — это не просто теоретическая модель. Ученые распечатали созданные алгоритмом постеры и проверили их на реальном роботе, ездившем по коридорам инженерного корпуса университета. Робот, увидев распечатку, послушно выполнял вредоносную команду, сворачивая с маршрута.

Атаки работали на разных языках и при разном освещении. Это означает, что злоумышленнику не нужно быть гуру программирования, чтобы устроить аварию — достаточно принтера и скотча. Теперь ученые работают над способами научить роботов отличать полезные дорожные знаки от вредоносных надписей.

Ранее Наука Mail рассказывала, что скаты вдохновили инженеров на создание более простых морских роботов.