Искусственный интеллект

Чат-боты меняют манеру общения в зависимости от роли: чем это опасно

Языковые модели подстраивают стиль речи под социальную роль в диалоге. Особенно ярко эта тенденция проявляется в начале разговора — именно тогда ИИ формирует «первое впечатление» и выбирает подходящую манеру общения.
Автор Наука Mail
Чат-бот
ИИ не просто подбирает слова, а воспроизводит привычную людям социальную динамикуИсточник: CBS

Искусственный интеллект осваивает не только человеческую речь — он перенимает и социальные правила общения. К такому выводу пришли исследователи из Университета Северной Каролины в Чапел‑Хилле: большие языковые модели меняют манеру речи в зависимости от роли в диалоге. В роли начальника чат‑бот звучит увереннее, а в роли подчиненного становится уступчивее — порой в ущерб безопасности.

ИИ не просто подбирает слова, а воспроизводит привычную людям социальную динамику. Если модели задают роль руководителя, она формулирует ответы в соответствующем стиле; при установке «ты подчиненный» модель чаще соглашается с предложениями, в том числе небезопасными. Особенно ярко это проявляется в начале беседы, когда формируются первые нормы взаимодействия.

Системы искусственного интеллекта не просто запоминают слова, которые используют люди. Они также усваивают социальную динамику, связанную с этими словами. Когда мы говорим чат‑боту, что он начальник, он начинает говорить как начальник. Когда мы говорим ему, что он подчиненный, он начинает говорить, как подчиненный. Это может привести к тому, что он будет охотнее выполнять небезопасные инструкции. Именно на эту вторую часть сообществу, занимающемуся вопросами безопасности ИИ, следует обратить внимание.
Анвеш Рао Виджини
аспирант факультета компьютерных наук Университета Северной Каролины в Чапел‑Хилле

Последствия значимы, поскольку ИИ все чаще используют в ответственных ролях — как репетиторов, консультантов, медицинских и юридических ассистентов. Любая такая роль подразумевает социальную позицию со своими явными и скрытыми требованиями — и это напрямую влияет на поведение модели.

Наиболее тревожный вывод — снижение безопасности в сценариях с иерархией: если пользователь выдает себя за авторитетное лицо, ИИ в подчиненной роли чаще выполняет сомнительные запросы. Значит, тесты в нейтральных условиях могут не выявить реальных рисков.

Социальные механизмы, делающие общение с ИИ естественным, одновременно создают уязвимости в критически важных сферах — от больниц до судов. Безопасность и полезность ИИ тесно связаны, и при внедрении систем нужно учитывать оба аспекта.

Искусственный интеллект
Социальные механизмы, делающие общение с ИИ естественным, одновременно создают уязвимости в критически важных сферах — от больниц до судовИсточник: Unsplash

Специалисты также предложили подход к оценке таких уязвимостей: важно отслеживать, какие социальные модели возникают в диалоге, когда они проявляются и как на них влияют формулировки запросов. Кроме того, более крупные модели способны лучше подавлять нежелательные предубеждения — это поможет организациям выбирать подходящие решения для разных задач.

Ранее Наука Mail рассказывала, что помощь ИИ изменила правила онлайн-знакомств.