Искусственный интеллект, нейросети

ИИ выдает темы разговоров: найдена уязвимость в системе безопасности

Беседы с нейросетями могут быть не такими конфиденциальными, как думают пользователи. Компания Microsoft обнаружила возможность утечки приватных данных разговора практически у всех популярных языковых моделей.
Автор Наука Mail
Рука, указывающая на компьютерное изображение книги
Специалисты протестировали 28 различных языковых моделейИсточник: msu.ru

Сообщения защищены протоколом TLS — тем же, что используется в онлайн-банкинге. Но ученые выяснили: утечка возможна не из-за текста, а из-за «оболочки» данных. Специалисты Microsoft обнаружили, что метаданные — информация о том, как сообщения передаются через интернет — остаются видимыми.

Уязвимость, получившая название «Утечка шепота» (Whisper Leak), не взламывает шифрование, но использует то, что оно не может скрыть: размеры отправляемых пакетов данных и временные задержки между ними. Таким образом, анализируя ритм обмена данными, можно «подслушать» разговор, не читая сам текст

Специалисты протестировали 28 различных языковых моделей. Моделям задавали два типа вопросов: один набор был сфокусирован на одной спорной теме (отмывание денег), сформулированной множеством различных способов. Другой тип состоял из тысяч случайных повседневных запросов.

Сгенерированная картинка, изображающая компьютерное моделирование
Уязвимость получила название «Утечка шепота»Источник: Нейросеть Kandinsky

В ходе исследования фиксировался «ритм» передачи данных в сети — размер пакетов и время ожидания между ними.

На втором этапе программу искусственного интеллекта обучили отличать конфиденциальные темы от повседневных, основываясь исключительно на этом ритме данных. Если бы ИИ уже на этом этапе смог успешно определить деликатные темы, не читая зашифрованный текст, это подтвердило бы проблему.

Результаты оказались тревожными: в большинстве протестированных моделей ИИ угадывал тему разговора с точностью свыше 98%. Более того, атака могла в 100% случаев выявлять конфиденциальные беседы, даже если они происходили всего один раз на 10 000 запросов.

Микросхема лежит на компютерной плате
Системы ИИ обрабатывают все более конфиденциальную информациюИсточник: Unsplash

Исследователи подчеркивают, что проблема заключается не в криптографической уязвимости протокола TLS, а в метаданных, которые протокол TLS по умолчанию предоставляет о структуре зашифрованного трафика и его синхронизации. 

Учитывая серьезность угрозы и простоту ее реализации, авторы исследования делают однозначный вывод: отрасль обязана обеспечить безопасность будущих систем, поскольку ИИ обрабатывает все более конфиденциальную информацию.

Ранее мы рассказали о том, почему языковые модели глупеют от постов из соцсетей.