По данным Anthropic, несколько исследователей обходили региональные ограничения на использование моделей и пытались скрывать характер своей работы, чтобы преодолеть встроенные меры безопасности. Об этом сообщает РБК.
Компания не раскрыла имена ученых, их страны и биологические компоненты, с которыми они работали. Причиной стала в том числе неоднозначность самих исследований: одни и те же результаты могут использоваться, например, при разработке вакцин или при создании опасных патогенов.
Claude использовали в исследовании вируса чикунгунья
Один из случаев Anthropic выявила в мае. Ученый использовал Claude при написании заявки на грант для исследования вируса чикунгунья.
По утверждению компании, проект предполагал создание мутаций вируса, которые сделали бы его более опасным при неоднократном заражении животных. Дополнительное беспокойство вызвало то, что работа предназначалась для военного научно-исследовательского института.
При этом Anthropic подчеркивает, что не смогла установить, было ли создание оружия реальной целью исследователя.
Вирус чикунгунья передается людям инфицированными комарами. Заболевание может сопровождаться лихорадкой, сильной болью и отеками суставов, мышечной и головной болью, тошнотой, усталостью и сыпью.
Почему Anthropic усилила ограничения
Предыдущие модели компании, согласно ее собственным оценкам, не могли существенно помогать в проведении опасных биологических исследований. Однако возможности новых систем в решении сложных научных задач выросли.
На этом фоне Anthropic ужесточила меры предосторожности и ограничила доступ к биологическим исследованиям двойного назначения — работам, результаты которых могут иметь как полезное, так и потенциально опасное применение.
Ранее российский ученый объяснил, как ИИ смог решить одну из семи задач тысячелетия.