Проверка идей на реальных людях требует значительных затрат времени и денег. Поэтому в социологии нередко используют большие языковые модели (БЯМ): системы искусственного интеллекта (ИИ), обученные имитировать определенные виды человеческого поведения на основе огромного количества текстов, созданных людьми.
Исследование под руководством психолога из Гарвардского университета (США) Ашвини Ашоккумар, опубликованное в журнале Nature, показывает, что БЯМ, такие как GPT-4, могут удивительно точно предсказывать результаты многих экспериментов в области социальных наук. Однако система, которая предсказывает реакцию людей, не обязательно понимает человеческое поведение, а «синтетические респонденты» не могут полностью заменить людей.
Ашоккумар и ее коллеги собрали 70 реальных экспериментов, уже проведенных в США, в которых приняли участие почти 120 тыс. человек. Затем они дали GPT-4 описания гипотетических респондентов, а также экспериментальные сообщения и вопросы для опроса и попросили его оценить, как эти люди отреагируют в разных условиях. Затем прогнозы языковой модели они сравнили с реальными результатами и обнаружили сильную корреляцию.
Результат говорит о том, что БЯМ способны улавливать значимые закономерности в социальном мире. Однако, предупреждают ученые, использовать ИИ стоит с осторожностью. Большая языковая модель может сгенерировать правдоподобное объяснение или убедительный прогноз. Но это результат сложного сопоставления шаблонов, а не подлинного понимания механизмов, лежащих в основе наблюдаемого поведения.
Например, исследование показало, что GPT-4 часто хорошо ранжирует вероятные результаты различных методов лечения. Но при этом систематически завышает их эффективность примерно в два раза по сравнению с реальными результатами. Это различие имеет решающее значение.
Кроме того, в ходе традиционного опроса респонденты представляют общество в конкретный момент времени. Искусственная выборка опирается на закономерности, закодированные в обучающих данных модели, подсказках и ограничениях. Поэтому ИИ воспроизводит доминирующие тенденции, сглаживая расхождения во мнениях или точки зрения меньшинства.
Этот пробел может быть особенно важен для новых проблем, маргинализированных сообществ, быстро развивающихся событий и групп населения, которые недостаточно представлены в Интернете. Поэтому ученые сделали вывод, что применение ИИ может быть полезным для выдвижения гипотез и тестирования предположений, но не способно заменить реального взаимодействия с людьми.
Ранее Наука Mail писала о том, почему студенты выгорают из-за массового использования ИИ.