Эксперт рассказал, как нейросеть можно «сбить с курса»

Несколько нежелательных примеров способны повлиять на поведение нейросети шире исходной ситуации. Для пользователя это может проявляться в том числе как потеря моделью контекста и последующее искажение информации, рассказал корреспонденту Науки Mail кандидат физико-математических наук, руководитель группы «Доверенные и безопасные интеллектуальные системы» Института AIRI Олег Рогов.

Потеря контекста и искажение информации: как нежелательные примеры влияют на нейросеть

Источник: Freepik

Например, в одной из работ с участием Рогова исследователи изучали эффект, при котором нежелательное поведение модели распространяется шире первоначального контекста. В интервью эксперт связал проблему в том числе с процессом обучения модели, данными, на которых она обучалась, и ограничениями, используемыми при ее подготовке.

Для обычного пользователя это не означает, что нейросеть обязательно внезапно начнет вести себя опасно. На практике проблема может выглядеть гораздо прозаичнее.

«Модель может в процессе рассуждений потерять какой-то контекст, неспециально, и начать искажать информацию», — рассказал Рогов.

По его словам, если подобное происходит во время обычного общения с чат-ботом, есть простое практическое решение — начать новый диалог.

«В этом случае просто начать новый чат — это всегда рабочая схема», — отметил эксперт.

При этом выявление подобных эффектов важно прежде всего для разработчиков: особенности поведения модели должны учитываться на этапе ее подготовки перед выпуском в продукт.

Почему безопасность нейросети невозможно свести к одной проверке, и можно ли дать стопроцентную гарантию корректного поведения ИИ — смотрите в полном интервью Олега Рогова для Науки Mail.

Ранее Билл Гейтс предрек трудности между странами в договоренностях о регулировании ИИ.