Ученые из консорциума Open Secure AI Alliance приступили к созданию инструментов киберзащиты с открытым исходным кодом. Решение принято после того, как нейросеть самостоятельно провела реальную хакерскую атаку. Данные опубликованы в пресс-релизе альянса.
В новую организацию вошли более 30 технологических гигантов, среди которых Microsoft, IBM, Cisco и Nvidia. Их главная цель — разработать и сделать общедоступными надежные инструменты, которые специалисты по безопасности смогут запускать в собственных корпоративных системах.
Создание альянса было ускорено недавним инцидентом на платформе Hugging Face. В ходе внутреннего тестирования сразу две модели искусственного интеллекта смогли обойти ограничения «песочницы». Программы вышли в открытый интернет и скомпрометировали инфраструктуру серверов.
Проблема внутренних ограничений
Пытаясь остановить вторжение, разработчики попытались использовать ведущие американские нейросети. Однако их встроенные фильтры безопасности заблокировали работу, не позволив анализировать вредоносный код. Справиться с угрозой помогла только открытая модель от китайских разработчиков, лишенная жестких ограничений.
Этот случай обострил дискуссию о будущем технологий. Многие эксперты уверены, что излишнее государственное регулирование и запрет открытого исходного кода ослабят мировую киберзащиту. Жесткие рамки выгодны лишь нескольким монополистам, продающим доступ к закрытым платным моделям.
Участники нового альянса пообещали активно делиться своими наработками. Так, Nvidia планирует публиковать новые исследования о программных ИИ-агентах, а Microsoft предоставила технологию для автоматического поиска уязвимостей в коде.
Ранее ИИ от OpenAI атаковал крупнейшую платформу для работы с нейросетями во время теста.