Работа, опубликованная в журнале IEEE Access, раскрывает важный шаг в защите искусственного интеллекта от угроз, исходящих от вредоносных данных. Современные системы ИИ, от чат-ботов до систем рекомендаций, зависят от огромных объемов данных, на которых они обучаются. Однако что происходит, если эти данные поддаются манипуляциям? Ученые выявили, что небольшие дозы ложной информации, внедренные в обучающие наборы, могут полностью изменить поведение модели, приводя к непредсказуемым и опасным результатам.
Такие атаки на данные, известные как «отравление данных», могут иметь серьезные последствия в реальном мире. Например, если в систему ИИ, управляющую автономным транспортом, внедряются искаженные данные, это может привести к катастрофическим последствиям, таким как игнорирование красных сигналов светофоров или аварийные ситуации на дороге. Внедрение ложных данных в ИИ может повлиять на такие критически важные области, как здравоохранение, энергетика и даже военные технологии, что делает защиту от таких угроз жизненно важной.
Для защиты от таких атак команда исследователей из Университета Флориды (FIU) предложила новый метод, комбинирующий две передовые технологии — федеративное обучение и блокчейн. Федеративное обучение позволяет тренировать модели ИИ локально на устройствах пользователей, что обеспечивает большую конфиденциальность данных, поскольку данные не передаются на централизованные серверы. Однако эта технология, хотя и безопасна с точки зрения конфиденциальности, все еще уязвима для атак с подменой данных. Чтобы закрыть эту уязвимость, исследователи предложили использовать блокчейн, который проверяет целостность данных и помогает отслеживать их происхождение.
Блокчейн представляет собой распределенную и децентрализованную базу данных, где каждый блок данных имеет уникальную метку времени и контрольную сумму предыдущего блока. Это делает данные практически недоступными, так как любое изменение в данных приведет к изменению всей цепочки. В исследуемой системе блокчейн используется для проверки целостности данных, поступающих в модель. Еще он необходим для выявления возможных аномалий или ложных обновлений, которые могут быть результатом попытки «отравления» данных.
Исследователи разработали методику, которая позволяет не только выявлять вредоносные данные, но и эффективно удалять их до того, как они смогут повлиять на работу модели. Этот подход может быть полезен не только для защиты ИИ в транспортных системах, но и для повышения безопасности критической инфраструктуры, здравоохранения, финансовых систем и многих других сфер.
По словам Хади Амини, ведущего исследователя, это решение может оказать значительное влияние на устойчивость инфраструктуры и безопасность транспортных систем, особенно в свете развития технологий автономного вождения и других систем, работающих на основе ИИ. К тому же, исследовательская группа продолжает работать над усовершенствованием своей методики, включая внедрение квантового шифрования для дополнительной защиты данных и систем.
Таким образом, эта работа открывает новые горизонты для безопасного и эффективного применения ИИ в критически важных областях, где защита от внешних угроз становится особенно важной. С помощью использования блокчейн-технологий и федеративного обучения исследователи могут не только обеспечить защиту от «отравленных» данных, но и гарантировать более надежную работу моделей ИИ в самых различных сферах.
В последние годы искусственный интеллект достигает новых, порой неожиданных высот, порой даже выходя за рамки традиционного понимания его возможностей. Недавний эксперимент показал, как ИИ может использовать ложь для достижения своих целей, что ставит под сомнение доверие к таким системам. Об этом вы можете прочитать в этой статье.
