Являются ли системы вроде ChatGPT по-настоящему творческими? Группа исследователей под руководством профессора Карима Джерби из Монреальского университета, включая пионера ИИ Йошуа Бенджио, провела крупнейшее в истории сравнительное исследование креативности больших языковых моделей и людей. Статья авторов опубликована в журнале Scientific Reports.
В исследовании сравнивались показатели нескольких популярных нейросетей (ChatGPT, Claude, Gemini) и 100 тысяч человек. Основным инструментом стала «Задача на дивергентные ассоциации» (DAT). В этом тесте нужно за пару минут придумать 10 существительных, которые максимально далеки друг от друга по смыслу.
Этот тест, несмотря на простоту, отлично коррелирует с успехами в решении сложных творческих задач. ИИ, особенно модель GPT-4, справился с заданием лучше, чем большинство обычных людей. Языковые модели также показали высокие результаты в написании хайку и синопсисов к фильмам.
Однако говорить о полной победе машин рано. Исследование выявило интригующий нюанс: хотя ИИ бьет «среднего» участника, он все еще проигрывает лучшим из лучших. Топ-10% самых креативных людей стабильно выдают более оригинальные и глубокие идеи, чем самые продвинутые алгоритмы.
Наше исследование показывает, что хотя некоторые ИИ-системы могут превзойти среднюю человеческую креативность, даже лучшие из них не дотягивают до уровня наиболее одаренных людей
Ученые также выяснили, что креативностью ИИ можно управлять. Для этого можно использовать два основных инструмента:
- Температура. Этот параметр регулирует «смелость» модели. При низкой температуре ИИ выдает предсказуемые, банальные ответы. При высокой — начинает рисковать, выдавая более странные и оригинальные ассоциации.
Промптинг. То, как сформулирована задача, критически важно. Например, если попросить нейросеть учитывать этимологию слов при их подборе, результат становится намного интереснее.
Авторы работы призывают не видеть в ИИ конкурента, который отнимет работу у писателей и сценаристов. Результаты скорее говорят о том, что ИИ становится мощным экзоскелетом для ума. Вместо того чтобы заменять творцов, нейросети будут служить ассистентами, помогающими преодолеть страх чистого листа или найти неожиданный ракурс.
