Модели ИИ могут создавать опасные токсины

Генеративный ИИ смог модифицировать токсичные белки так, чтобы они проходили проверку системы биозащиты, сохраняя опасные свойства.

Алгоритмы научились модифицировать белки, обходя защиту систем биоконтроля

Источник: нейросети

Команда Microsoft обнаружила новую уязвимость «нулевого дня» в системах биобезопасности в лабораториях. Эти программы должны блокировать попытки получить генетические фрагменты, пригодные для создания токсинов или патогенов. Исследователи под руководством главного научного сотрудника Эрика Хорвица нашли способ обойти такие проверки с помощью ИИ, сообщает MIT Technology Review.

Чтобы протестировать систему, ученые взяли известные токсины и изменили их с помощью генеративных моделей. Алгоритмы перестроили структуру белков так, чтобы они не распознавались как опасные, но при этом сохраняли токсичные свойства. Исследование было полностью цифровым: никаких реальных веществ ученые не создавали, чтобы избежать подозрений в разработке биологического оружия. Группа ученых описала свою работу в журнале Science.

Ученые взяли набор опасных белков и с помощью ИИ создали их синтетические аналоги. Затем алгоритм «перевел» их обратно в ДНК и проверил, пройдут ли они фильтры биобезопасности. Параллельно модели оценивали сходство новых белков с исходными, чтобы убедиться, что они сохраняют структуру и функции. Результаты показали, что часть синтетических последовательностей действительно смогла обойти защиту

Источник: Science

До публикации результатов Microsoft предупредила американское правительство и разработчиков программ защиты. Они обновили свою защиту, однако часть измененных белков все еще способна оставаться незамеченной. Компания не раскрыла детали кода и не указала, какие именно токсины использовались, чтобы предотвратить возможное злоупотребление.

Исследователь безопасности ИИ Майкл Коэн из Калифорнийского университета в Беркли уверен, что злоумышленники все равно смогут замаскировать последовательности. Он считает, что биозащиту нужно встраивать прямо в ИИ-системы, ограничивая их возможности по генерации опасных структур.

Ранее Наука Mail писала, что в продаже появились детские игрушки с ИИ.