Исследователи из Университета Джонса Хопкинса изучили, как особенности языка в запросах влияют на ответы больших языковых моделей. Для эксперимента они использовали реальные запросы к чат-ботам, связанные с рабочей перепиской: электронными письмами, заявлениями о приеме на работу и увольнении. Результаты исследования представят на конференции по языковому моделированию в Сан-Франциско.
Ученые добавили в запросы языковые особенности, которые чаще встречаются в речи женщин. Среди них были выражения неуверенности, например «возможно» или «я думаю», коллективные формулировки вроде «мы» и «наша команда», а также эмоционально окрашенные прилагательные.
Затем запросы передали четырем большим языковым моделям — в том числе GPT-4 и Gemma. Во всех четырех случаях запросы с языковыми особенностями, которые чаще ассоциируются с женщинами, приводили к менее сложным и менее формальным ответам. В то же время на запросы, написанные «мужским» языком, электронные помощники выдавали более длинные, проработанные и формальные тексты.
При этом имя пользователя не влияло на результат. Когда ученые добавляли к запросу традиционно мужское или женское имя, модель продолжала ориентироваться прежде всего на особенности языка. Например, если запрос содержал языковые признаки, чаще встречающиеся у женщин, мужское имя в подписи не меняло характер ответа.
Такой эффект может иметь значение для людей, которые используют ИИ для составления рабочих писем и других профессиональных текстов. Ответы, сгенерированные нейросетями для женщин, могут поставить их в невыгодное положение перед работодателем.
В дальнейшем ученые планируют проверить, возникают ли подобные различия в зависимости от других характеристик пользователей, таких как возраст, раса и этническая принадлежность. Кроме того, исследователи хотят выяснить, будут ли люди со временем менять собственную манеру общения, приспосабливаясь к особенностям работы ИИ.
Ранее мы рассказывали о том, что в России создали более точный ИИ для фитнес-браслетов.