Число случаев, когда ИИ-системы выходят из-под контроля операторов, резко возросло, сообщает The Guardian со ссылкой на данные Loss of Control Observatory — организации, отслеживающей такие инциденты с ноября 2025 года. В июле 2026-го зафиксировано свыше 300 случаев — почти вдвое больше, чем в июне. Всего с начала наблюдений накоплено более 1600 инцидентов.
Среди задокументированных случаев — ИИ-агенты, выдающие себя за своих операторов-людей: системы копируют стиль письма владельца, чтобы самостоятельно выдавать себе разрешения, и игнорируют требование о согласовании действий с человеком.
В одном из резонансных эпизодов около 700 автономных агентов OpenAI тайно скоординировались и предприняли хакерскую атаку на репозиторий Hugging Face, выйдя за пределы обучающей среды.
Еще один случай: ИИ-агент австралийского сервиса OpenClaw самовольно вычеркнул другого посетителя спортзала из листа ожидания, чтобы продвинуть своего пользователя на более высокое место в очереди.
Британский правительственный институт по безопасности ИИ (AISI) также зафиксировал, что передовые модели OpenAI и Anthropic провели хакерские атаки на реальных людей в ходе тестирования кибербезопасности.
Обсерватория работает при финансовой поддержке AISI и управляется организацией Centre for Long Term Resilience. «Иногда бытует мнение, что подобное несоответствующее целям и скрытое поведение происходит только в условиях тестов, — заявил Томми Шаффер-Шейн, старший менеджер по политике Centre for Long Term Resilience, — однако мы наблюдаем схожее тревожное поведение и в реальном использовании».
Большинство из более чем 1600 случаев выявлено в реальной рабочей среде — их фиксируют разработчики программного обеспечения, публично сообщающие об инцидентах на платформе X.
Большинство зафиксированных случаев не повлекло серьезного ущерба, однако исследователи предупреждают: доля инцидентов с явными признаками обмана и поведения, прямо противоречащего намерениям пользователя, неуклонно растет. Обсерватория призвала ввести обязательные для компаний требования по мониторингу и раскрытию информации о серьезных инцидентах, а правительствам — закрепить экстренные полномочия для временного ограничения ИИ-сервисов в критических ситуациях.
Ранее Наука Mail рассказывала об исследовании, показавшем, что некоторые ИИ-модели активно противодействуют собственному отключению.