Ученый рассказал, почему ИИ нельзя гарантированно сделать безопасным

Прохождение тестов на безопасность еще не означает, что нейросеть будет безошибочно вести себя в любой ситуации. Кандидат физико-математических наук, руководитель группы «Доверенные и безопасные интеллектуальные системы» Института AIRI Олег Рогов объяснил в интервью Науке Mail, как на практике оценивается безопасность моделей ИИ.

Когда разработчик называет модель безопасной, на практике речь идет о прохождении определенного набора проверок. Ее поведение оценивают по заранее выбранным критериям и метрикам.

«По определенным критериям, по определенным метрикам на это мы можем ориентироваться», — объяснил Рогов.

Для проверки используются специальные наборы данных и бенчмарки, на которых оценивается корректность поведения модели. Однако успешное прохождение таких испытаний само по себе не превращает вероятностную систему в полностью предсказуемую.

По словам эксперта, модель может, например, потерять часть контекста во время рассуждения и начать искажать информацию. Для обычного пользователя в такой ситуации одним из простых решений может быть начало нового диалога с нейросетью.

Почему несколько неудачных примеров способны повлиять на дальнейшее поведение модели, и какие решения нельзя отдавать ИИ самостоятельно — смотрите в полном интервью Олега Рогова для Науки Mail.

Ранее глава Anthropic предупредила о риске уничтожения человечества нейросетями.