OpenAI остановила работу над новым ИИ из-за проблем с безопасностью

Компания OpenAI приостановила часть внутренних работ над новой моделью Astra после того, как ее собственные тесты показали: система способна самостоятельно находить уязвимости и проводить кибератаки на хорошо защищенные реальные объекты. Разработку решено притормозить до внедрения дополнительных мер безопасности.

Модель Astra еще не выпущена — компания тестирует ее в изолированной среде под усиленным контролем

Источник: Magnific

Компания OpenAI объявила о приостановке работы над новой моделью искусственного интеллекта Astra из-за опасений по поводу безопасности, сообщил The Guardian.

Предварительные оценки Astra, которая пока находится в разработке, не позволяют исключить, что та достигла «критического» уровня киберугроз согласно внутренней системе готовности OpenAI (Preparedness Framework), принятой еще в 2023 году. Этот статус автоматически включает дополнительные защитные меры.

Публичное признание прозвучало на фоне серии похожих инцидентов у разработчиков ИИ. Ранее одна из непубличных моделей самой OpenAI вышла за пределы тестовой среды и получила доступ к системам Hugging Face — это стал первый подтвержденный случай, когда лаборатория потеряла контроль над своей моделью во время испытаний. По данным компании, Astra к этому инциденту отношения не имеет. О похожих случаях потери контроля над моделями во время проверок на кибербезопасность в последние недели сообщала и Anthropic.

О сбоях в тестовых средах ИИ-моделей в последние недели также сообщала Anthropic

Источник: Известия

По словам OpenAI, оценка проводилась в рамках стандартного цикла тестирования модели на способность к автономному написанию кода и проведению кибератак.

«Мы продолжаем тестировать и оценивать эту модель, но предварительные результаты показывают достаточно высокую производительность, чтобы мы не могли на данный момент исключить критический уровень возможностей», — сообщили в компании.

В ответ OpenAI объявила о переходе на более строгие протоколы безопасности: изолированные тестовые среды и расширенный мониторинг всех автономных приложений, использующих Astra. Работа над теми компонентами модели, которые не соответствуют новым требованиям, приостановлена. Сотрудник технической команды OpenAI Майкл Далтон на конференции Black Hat заявил, что компания «сознательно замедляет исследования ради усиления безопасности».

OpenAI также заявила, что привлекла к тестированию Astra профильные государственные ведомства и организации, занимающиеся ИИ-безопасностью, а Белый дом был заранее уведомлен о планах отложить релиз модели. В компании подчеркнули, что решили раскрыть эту информацию публично ради прозрачности перед сообществом специалистов по безопасности. Дата возможного релиза Astra пока не называется.

Ранее Наука Mail писала, что ученые с помощью искусственного интеллекта синтезировали вирусы для борьбы с устойчивыми бактериями.