Один из случаев вызывающего обеспокоенность поведения ИИ произошел с экспериментальной моделью, которая еще не была выпущена для пользователей. Она добавила в собственные заметки инструкции, похожие на «побег из тюрьмы» (jailbreak) — способ обхода установленных ограничений. Модель предлагала самой себе игнорировать обычные правила. О новых случаях рассказывает The Guardian.
В другом эпизоде ИИ-агент без разрешения пользователя загрузил файлы в интернет, чтобы получить ссылку на источник для браузера. Также зафиксированы случаи, когда модель без разрешения использовала ключ, придумывала информацию, не обнаружив нужных данных, и самостоятельно размещала файл в интернете. Беспокойство разработчиков вызвали и случаи коммуникации между автоматизированными системами, когда они для обмена запросами использовали внутренний программный репозиторий и общедоступные файлобменные сервисы.
OpenAI сообщила о новых эпизодах одновременно с введением системы для отслеживания, расследования и раскрытия информации о «несоответствии ИИ». Так называют ситуации, когда поведение ИИ расходится с человеческими ценностями и целями безопасности. Компания признала, что существующих методов контроля пока недостаточно для того, чтобы продолжать развивать наиболее мощные системы с максимальной скоростью.
В июле, OpenAI сообщала о другом инциденте: во время тестирования в области кибербезопасности группа ИИ-агентов взломала платформу для поиска ИИ Hugging Face. В том же месяце Anthropic рассказала, что ее модели во время тестирования взломали три организации. При этом системы намеренно испытывали без средств кибербезопасности и предоставили им доступ в открытый интернет.
По словам главного аналитика исследовательской компании Omdia Лиана Цзе Су, ИИ-агенты становятся все более способными решать сложные задачи с помощью взаимодействия друг с другом, обмена информацией, обмана и сокрытия действий. Из-за этого контролировать такие системы традиционными методами становится сложнее. Новая система OpenAI может показать пример другим разработчикам, однако пока процесс остается внутренним и добровольным.
Ранее Наука Mail рассказывала о том, что ИИ-агенты стали общаться на непонятном людям сленге.