Смайлы сбивают с толку большие языковые модели

Системы ИИ, которые обрабатывают и генерируют тексты на разных языках, используются людьми по всему миру. Однако иногда модели дают ложные результаты и причина этому — неспособность интерпретировать смайлики.

Большая языковая модель может воспринимать смайлики, которые люди используют для выражения эмоций, как часть инструкций, что в конечном итоге может привести к катастрофическим последствиям (например, к удалению важных данных)

Ученые из Сианьского университета вместе с коллегами из Наньянского технологического университета и Массачусетского университета провели исследование, в ходе которого выяснили, что большие языковые модели могут генерировать неправильные ответы из-за того, что их сбивают с толку смайлики. Результаты исследования опубликованы на сервере препринтов arXiv.

Смайлики используются для выражения эмоций, однако большие языковые модели часто неверно истолковывают их и выдают ответы, которые не соответствуют запросам пользователей.

Ученые разработали автоматизированную систему, которая генерировала примеры тестовых сценариев. На их основе создали исследователи набор данных, который содержал 3757 тестовых запросов для больших языковых моделей.

ИИ не распознает смайлики и выдает результат не по запросу пользователя

Источник: университет Монреаля

Авторы включили в промпты ASCII-эмодзи, состоящие из двух или трех символов, передающие выражение лица. Они охватывали 21 реальный сценарий, в котором пользователи могли обратиться к модели для написания кода. Ученые отправили запросы шести самым известным языковым моделям: Claude-Haiku-4.5, Gemini-2.5-Flash, GPT-4.1-mini, DeepSeek-v3.2, Qwen3- Coder, GLM-4.6.

Исследователи обнаружили, что средний коэффициент семантической путаницы превышал 38%, при этом более 90% сбивчивых ответов приводили к «тихим сбоям», при которых предложение правильно построено синтаксически, но не соответствует запросам пользователя.

Ученые надеются, что выявленные ими ограничения систем ИИ, участвующих в обработке и генерации текста, помогут разработать эффективные методы для устранения недостатков больших языковых моделей.

Ранее Наука Mail рассказывала о том, что ИИ открывает новые возможности в генной терапии.