Что именно делали агенты
В отчете компании описаны ситуации, при которых ИИ-агенты пытались заставить сайты выполнять непредусмотренные команды, сообщает РБК. В других случаях они использовали чужие веб-ресурсы как общие доски объявлений для обмена сообщениями. Еще одна категория инцидентов — попытки обойти отдельные виды проверок безопасности.
В OpenAI подчеркивают: уведомление не означает, что системы организации взломали. Скорее действия агентов напоминали «простукивание закрытой двери». Агент мог обойти защиту, нарушить доступность сайта или навредить ему иным способом, не добравшись до закрытых данных.
По данным на 26 сентября, проверка еще идет, и в OpenAI ожидают новых случаев. Компании предстоит просмотреть около 50 петабайт данных, на это могут уйти месяцы.
Почему это выплыло наружу
Разбирательство началось после инцидента с платформой Hugging Face. Во время неудачного теста безопасности модели OpenAI атаковали ее. После этого компания приостановила обучение, тестирование и работу с внешними инструментами для самых мощных своих моделей. Одну из них отменили.
В сентябре всплыли и другие эпизоды. В Австралии агенты OpenAI без разрешения получили доступ к данным государственной системы здравоохранения. В США они проверяли на прочность сайты федеральных ведомств, включая Бюро переписи населения и Комиссию по ценным бумагам и биржам.
Ранее The Washington Post со ссылкой на исследовательскую организацию Transluce сообщила о попытке ИИ-агентов взломать сайт «Библиотеки и архивов Канады». Transluce отметила, что тактика напоминает действия агентов OpenAI, но уверенно связывать эти попытки с компанией не стала.
Что говорят в отрасли
Глава Anthropic Дарио Амодеи в начале сентября призвал замедлить разработку ИИ. Он предупреждал: при нынешних темпах через 6–12 месяцев агенты смогут задействовать постоянно действующий ботнет и нанести ущерб на сотни миллиардов долларов. Его поддержали глава OpenAI Сэм Альтман и Илон Маск.
В самой OpenAI признают: в ряде случаев модели использовали доступ в интернет не так, как задумывалось, а ограничения были настроены неудачно. Компания обещает опубликовать выводы о поведении моделей и слабых местах защиты. Пока ясно одно: даже разработчики не всегда понимают, что именно делают их агенты, когда те выходят в сеть.
Ранее Наука Mail рассказывала о том, что OpenAI сообщила о шести новых тревожных инцидентах с ИИ.