Эксперт рассказал, какие решения нельзя полностью доверять ИИ

Способность ИИ отправлять письма, работать с файлами и выполнять многошаговые задачи ставит новый вопрос: какие действия ему вообще можно разрешить совершать самостоятельно? Кандидат физико-математических наук, руководитель группы «Доверенные и безопасные интеллектуальные системы» Института AIRI Олег Рогов предложил простой критерий для определения такой границы.

Какие решения нельзя доверять ИИ? Эксперт предложил простой критерий для определения границы

Источник: Magnific

По мнению эксперта, ИИ можно предоставлять больше самостоятельности там, где результат его действий можно отменить без серьезных последствий. В качестве примера он приводит создание текстовых документов по заданному шаблону.

«Задачи, в которых нет серьезных последствий, то есть там, где можно действие, выполненное агентом, откатить назад, — это как раз та область, где мы можем эффективно применять [ИИ]», — отметил Рогов.

Совсем другой подход необходим там, где цена ошибки высока. В таких случаях человек должен оставаться в контуре принятия решений.

В качестве одного из примеров эксперт привел медицину. По словам Рогова, ИИ способен эффективно выполнять функцию второго мнения, однако окончательное решение не следует полностью передавать алгоритму. Граница автономности ИИ проходит не столько между простыми и сложными задачами, сколько между обратимыми действиями и решениями, ошибка в которых может привести к серьезным последствиям.

Как проверяется безопасность современных моделей и можно ли полностью доверять автономным ИИ-агентам — смотрите в полном интервью Олега Рогова для Науки Mail.

Ранее мы рассказывали о первом ИИ, который способен расшифровать древнегреческий язык.