Исследователи Санкт-Петербургского государственного университета (СПбГУ) вместе с коллегами из Института искусственного интеллекта AIRI и Института психологии РАН (ИП РАН) проверили, насколько точно большие языковые модели могут воспроизводить психологические особенности человека.
В основе работы — концепция цифрового двойника: компьютерной модели, которая прогнозирует ответы и поведение конкретного человека. Ученые оценивали не внешнюю убедительность ответов ИИ, а их соответствие реальным психометрическим данным.
В эксперименте участвовали 645 человек. С каждым провели интервью, после чего участники заполнили тесты. Всего проанализировали 38 показателей. Затем модели получали материалы интервью и предсказывали ответы конкретного участника, а прогнозы сравнивали с фактами.
Точность зависела от характеристики. Лучше всего модели воспроизводили черты, которые прямо проявляются в речи: религиозность и экстраверсию. Сложнее им давались скрытая тревожность, гедонистические установки и представления о справедливости.
Результаты цифрового двойника следует интерпретировать не как достоверное утверждение о том, что сделает человек, а как прогноз с определенной вероятностью и измеренной неопределенностью. Надежность такого прогноза должна подтверждаться для каждой конкретной задачи
Исследователи также обнаружили эффект идеализации: модели приписывают людям больше доброты и честности, занижая показатели нарциссизма, макиавеллизма и психопатии. Это значит, что такие оценки нельзя использовать без дополнительной калибровки.
Отдельная серия экспериментов показала: увеличение объема контекста не всегда повышает точность. Иногда сокращенный, но более релевантный фрагмент давал лучший результат.
Ученые сравнили пять нейросетей, чтобы отделить общие ограничения подхода от особенностей конкретных моделей. Результаты пригодятся для персонализации обучения, психологической поддержки и моделирования поведения команд. Работа опубликована в научном журнале IEEE Access.
Ранее Наука Mail писала о том, что роботы с ИИ смогут угадывать намерения человека.