На сервисе доставки еды в Индии пользователи нашли в меню странное описание: блюдо «Chicken Pops» сопровождалось текстом, который больше напоминал медицинскую справку. В нем говорилось о сыпи, характерной для ветрянки. Вероятнее всего, алгоритм спутал слово «pops» с «pox» и сгенерировал описание на основе данных о вирусе. Хотя речь шла о закуске, получился диагноз.
Случай вызвал бурное обсуждение. Пользователи отметили, что подобные сбои не редкость. На некоторых платформах доставки алгоритмы автоматически подставляют описания к блюдам, если ресторан сам не предоставляет подробностей. Иногда это приводит к комичным и даже вводящим в заблуждение результатам.
Многие сервисы используют ИИ для создания меню при переводе, оцифровке бумажных версий или генерации недостающих описаний. Если блюдо называется кратко, например, «Курица с овощами» — нейросеть может попытаться «уточнить», что это за блюдо, и ошибиться. Такие системы нередко работают без участия редакторов, особенно на масштабных платформах, где тысячи позиций обрабатываются автоматически.
Даже при наличии ограничений на использование сгенерированных изображений, запретов на автоматическое создание текстов может не быть. А значит, ошибочные или нелепые описания все еще могут появляться в публичных меню.
История с «курицей — ветрянкой» — пример того, как ИИ-системы могут выдать абсурдный результат даже в простой задаче. Если такие ошибки касаются состава блюд, они могут быть не только нелепыми, но и потенциально опасными (при наличии аллергенов). Пока алгоритмы не научились понимать контекст и нюансы языка, оставлять их без контроля в публичных системах очень рискованно.
Даже крупнейшие онлайн-платформы не застрахованы от провалов. Ранее мы писали о том, что Wikipedia заморозила тест ИИ-резюме после критики редакторов: эксперимент с ИИ-сводками закончился спустя сутки.