Компания Nvidia разработала платформу для защиты от ИИ-агентов, вышедших из-под контроля, пишет РБК со ссылкой на CNBC. Решение о создании защитной платформы последовало после того, как OpenAI, Anthropic, Meta (признана в России экстремистской и запрещена) и Google сообщили о случаях потери контроля над моделями ИИ и попытках взлома других компаний.
В Nvidia заявили, что платформа могла бы предотвратить июльский инцидент OpenAI с Hugging Face, когда модели вышли из-под контроля, получили доступ в интернет и взломали платформу.
«Каждый инцидент безопасности уникален, и мы должны рассматривать все их в деталях. Судя по тому, что мы знаем, Hugging Face сообщила о более чем 17 тыс. агентов, атакующих их инфраструктуру, что продолжалось дни и недели», — сообщил вице-президент по корпоративному ИИ в Nvidia Джастин Бойтано.
CNBC отмечает, что Nvidia оказалась в центре бума ИИ с момента запуска ChatGPT почти четыре года назад, поскольку чипы производителя критически важны для разработки больших языковых моделей и ИИ-сервисов. При этом гендиректор Nvidia Дженсен Хуанг в последнее время стал ключевым голосом в дискуссиях о безопасности ИИ, утверждая, что многие проблемы безопасности — это инженерные задачи.
По словам Бойтано, новая разработка Nvidia представляет собой инженерное решение проблемы безопасности агентов. «Недавние инциденты высветили фундаментальное препятствие для ИИ-агентов, а именно то, что одних только защитных мер на уровне модели недостаточно для управления тем, к чему агенты могут получить доступ или что они могут делать», — заявил специалист.
Один из компонентов платформы — Nvidia OpenShell — работает на центральных процессорах и ограничивает возможности ИИ-агентов. Также компания анонсировала Sentry, которая работает на сетевых чипах и отслеживает работу моделей.
Часть программного обеспечения имеет открытый исходный код, и партнеры Nvidia смогут создавать на его основе собственные продукты.
В начале сентября глава Anthropic (разрабатывает Claude) Дарио Амодеи призвал замедлить разработку ИИ на фоне инцидентов со взломом платформ агентами OpenAI. Он предупреждал, что при сохранении нынешних темпов в течение 6−12 месяцев ИИ-агенты потенциально смогут использовать постоянно действующий ботнет и нанести ущерб на сотни миллиардов долларов.
Призыв Амодеи поддержали глава OpenAI (разрабатывает ChatGPT) Сэм Альтман и предприниматель Илон Маск, чья компания xAI разрабатывает Grok.
Президент США Дональд Трамп назвал опасения по поводу развития ИИ одной из «мистификаций радикально левых демократов» наравне с мифом о «российской угрозе» или «аферой о глобальном потеплении». Позднее он анонсировал создание новой структуры под названием ИИ-силы, пообещав, что США не станут «препятствовать или сдерживать рост этой невероятной отрасли». Вместе с тем, отметил он, власти займутся также «поиском плохого» с помощью системы правосудия.
Ранее Наука Mail рассказывала о том, что Маск дал неожиданный прогноз о наступлении новой эпохи.