Anthropic предупредила о риске уничтожения человечества нейросетями

В проспекте IPO компания Anthropic 80 из 261 страницы посвящены рискам, связанным с ИИ. Компания предупреждает о катастрофических сценариях и описывает поведение моделей, которое может угрожать безопасности.

ИИ способен нести «катастрофические или экзистенциальные риски для человечества», считает компания-разработчик

Источник: Market Power

В проспекте первичного публичного размещения на фондовом рынке (IPO) компании Anthropic — разработчика модели искусственного интеллекта Claude — 80 из 261 страницы основной части документа отведено изложению факторов риска, связанных с развитием ИИ. Это практически вдвое превышает объем, использованный для описания бизнеса, сообщает РБК.

По данным Reuters, компания намерена предупредить потенциальных инвесторов о том, что ИИ способен нести «катастрофические или экзистенциальные риски для человечества».

Согласно проспекту, компания перечисляет риски, сопряженные с ее ИИ-моделями. Среди них указываются способность демонстрировать «самостоятельное поведение», «сопротивляться отключению», «скрывать или манипулировать информацией», а также поведение, которое «напоминает шантаж».

«Наша разработка высокопродвинутых моделей, платформ и приложений и расширение вариантов использования могут дополнительно увеличить риск того, что наши модели причинят вред», — говорится в документе.

Хотя в IPO компании регулярно описывают риски для инвесторов, ранее, вероятно, никто не предупреждал о том, что их технология может привести к уничтожению человечества, отмечают журналисты. Для сравнения Reuters приводит SpaceX, которая посвятила факторам риска лишь около 38 из 277 страниц аналогичного документа.

Ранее глава Anthropic Дарио Амодеи призвал замедлить разработку ИИ

Источник: Wikimedia

В Anthropic указали, что модели иногда могут развить неожиданные способности во время обучения, которые нельзя обнаружить до их запуска, что потенциально может привести к «значительным» инцидентам в сфере безопасности. Исследователи ИИ также указали, что по мере роста возможностей модели начинают чаще понимать, что за ними наблюдают, и соответствующим образом корректируют свое поведение.

В начале сентября глава Anthropic Дарио Амодеи призвал замедлить разработку ИИ на фоне инцидентов со взломом других платформ агентами OpenAI. Он предупреждал, что при сохранении нынешних темпов в течение 6–12 месяцев агенты ИИ потенциально смогут использовать постоянно действующий ботнет и причинить ущерб на сотни миллиардов долларов.

Призыв Амодеи поддержали глава OpenAI (разрабатывает ChatGPT) Сэм Альтман и предприниматель Илон Маск, чья компания xAI занимается разработкой Grok.

Ранее Наука Mail рассказывала, что Билл Гейтс предсказал два пути развития ИИ.