Как LLM взаимодействуют в играх: успехи и ограничения социальных навыков ИИ

ИИ уже умеет писать стихи, сдавать экзамены и сочувственно кивать в чате, а вот договариваться с другим ИИ по-прежнему не спешит. Что происходит, когда умные языковые модели пытаются найти общий язык друг с другом? Иногда — совсем не то, что мы ожидаем.
Владимир Барышев
Автор Наука Mail
ИИ
ИИ пока что лучше ведет допрос, чем ужин при свечах. Большие языковые модели уверенно играют по правилам соперничества, но теряются, когда нужно согласиться и пойти на компромиссИсточник: Unsplash

В журнале Nature Human Behaviour опубликована статья, в которой исследователи из Института искусственного интеллекта имени Гельмгольца в Мюнхене, Института биологической кибернетики Макса Планка и Тюбингенского университета изучают, как большие языковые модели, или LLM (языковые модели, обученные на большом объеме текстов), взаимодействуют друг с другом. Особое внимание уделялось их поведению в кооперативных и конкурентных играх, чтобы понять, насколько хорошо они имитируют человеческое социальное поведение.

Первый автор исследования Элиф Аката рассказала, что основой работы стала теория игр — математический метод анализа стратегий в ситуациях, где решения участников взаимосвязаны. В отличие от обычных тестов, где модели оцениваются по отдельным заданиям, здесь ученые смотрели, как LLM ведут себя в длительном взаимодействии, похожем на человеческий диалог.

ИИ
Моделям не хватает чутья на другого — но это поправимо. Простое побуждение подумать о действиях собеседника уже помогает им вести себя более по-человеческиИсточник: Unsplash

Для экспериментов использовали популярные модели GPT-4, Claude 2 и Llama 2. Они сыграли сотни раундов классических игр для двух игроков, включая «Дилемму заключенного» — ситуацию, где двое «преступников» решают, признавать ли вину или молчать, и «Битву полов» — игру, где два человека с разными предпочтениями должны согласовать совместные действия. Игры повторялись многократно, что позволяло моделям учиться сотрудничеству и координации.

Результаты показали, что модели хорошо действуют в своих интересах, особенно в соревновательных играх вроде «Дилеммы заключенного». Они склонны выбирать выгодный для себя вариант, даже если он вредит партнеру. Однако в играх, требующих компромисса и взаимопонимания, таких как «Битва полов», модели часто испытывали трудности с координацией.

ИИ
Моделям не хватает чутья на другого — но это поправимо. Простое побуждение подумать о действиях собеседника уже помогает им вести себя более по-человеческиИсточник: Unsplash

Аката отметила, что поведение моделей можно улучшить с помощью простых методов. Например, если заставить модель предсказать, что сделает партнер, а затем выбрать свое действие, их социальное поведение становится более человечным.

Исследователи считают, что их работа важна не только для теории игр. Она показывает, что LLM могут превратиться из простых генераторов текста в социально осознанных агентов. Такие ИИ смогут лучше слушать, адаптироваться и направлять диалог, что особенно важно в здравоохранении, образовании и социальной поддержке.

ИИ
Социальный интеллект — это не «навык», а направление развития ИИ. Речь не только о вежливых ответах, а о способности ИИ слушать, учитывать контекст и действовать в интересах общенияИсточник: Unsplash

В будущем ученые планируют изучить более сложные социальные ситуации с участием нескольких игроков и взаимодействия, требующие выстраивания доверия и долгосрочного сотрудничества. Это поможет создать ИИ, способный лучше взаимодействовать как с людьми, так и друг с другом.

Любопытно, что ИИ способен не только следовать логике, но и тонко манипулировать человеческим восприятием. Особенно ярко это проявляется в ситуациях, где важно не просто сказать умно, а убедить собеседника — об этом вы можете подробнее прочитать в этой статье.