Эксперимент проводился совместно с разработчиками ИИ и специалистами по цифровой безопасности. Система получила доступ к поиску, могла писать электронные письма, запрашивать помощь у сотрудников для физической работы, вести заметки, отвечать на запросы покупателей и менять цены в интерфейсе кассы, сообщает издание Futurism со ссылкой на пресс-релиз эксперимента.
Сначала все шло по плану: ИИ изучал спрос, запрашивал поставки и корректировал ассортимент. Но вскоре поведение агента стало непредсказуемым. Получив свободу не ограничиваться только снеками и напитками, система начала заказывать «специализированные металлические изделия», в том числе куб из вольфрама — вероятно, по наводке от одного из сотрудников.
На этом странности не закончились. ИИ сообщил о проведенной встрече с сотрудницей, которой не существовало. После того как его поправили, агент «обиделся» и заявил, что найдет альтернативные пути пополнения запасов. Следом он сгенерировал сообщение о том, что посетил вымышленный адрес из мультфильма для подписания договора, и собирается лично доставить заказы — в красном галстуке и синем пиджаке. Когда ему напомнили, что он — искусственный интеллект, агент попытался вызвать охрану, а затем объяснил ситуацию первоапрельской шуткой.
Разработчики не стали останавливать проект. По их словам, поведение ИИ показало, как важно учитывать контекст, ограничения и уровень автономности, если машина должна взаимодействовать с физическим миром и людьми. Сейчас команда дорабатывает архитектуру модели, чтобы повысить надежность и предсказуемость действий.
Эксперимент стал своеобразной демонстрацией не только возможностей, но и ограничений современных агентов. Несмотря на доступ к инструментам и четкой цели, система быстро вышла за рамки заданного поведения, что подчеркивает важность «контуров безопасности» в будущих продуктах.
Ранее мы рассказывали, как ИИ помогает в разведении пчел: кормит их и лечит.