ИИ так же самоуверен и предвзят, как и человек: исследование

Искусственный интеллект, включая популярный чат-бот ChatGPT, может демонстрировать те же когнитивные искажения, что и человек. К такому выводу пришли ученые из Канады и Австралии по результатам международного исследования.
Ксения Бесфамильная-Сабодаш
Автор Наука Mail
Человек смотрит на голову робота-гуманоида
Почти в половине исследованных сценариев ChatGPT демонстрировал многие из наиболее распространенных человеческих когнитивных искаженийИсточник: Газета Коммерсантъ

Популярные языковые модели искусственного интеллекта демонстрируют те же когнитивные искажения, что и люди. Об этом стало известно из результатов международного исследования, опубликованного в журнале Manufacturing & Service Operations Management.

Ученые из Канады и Австралии проверили, насколько модели GPT-3.5 и GPT-4 от OpenAI подвержены 18 наиболее распространенным когнитивным искажениям. В почти половине сценариев ChatGPT воспроизводил иррациональные шаблоны мышления, включая избыточную уверенность, стремление к избеганию риска и так называемый «эффект горячей руки», при котором человек ожидает закономерности в случайных событиях.

GPT-4 лучше справился с задачами, где требовались точные расчеты, и допустил меньше ошибок в логике и вероятностях
GPT-4 лучше справился с задачами, где требовались точные расчеты, и допустил меньше ошибок в логике и вероятностяхИсточник: Unsplash

При этом GPT-4 лучше справился с задачами, где требовались точные расчеты, и допустил меньше ошибок в логике и вероятностях. В более субъективных вопросах, например, связанных с выбором между риском и стабильностью, он склонялся к предвзятым решениям даже сильнее, чем человек.

Если вы хотите получить точную и непредвзятую поддержку в принятии решений, используйте ИИ там, где вы бы доверились калькулятору. Но если исход зависит от субъективных или стратегических факторов, важно сохранить контроль со стороны человека — даже если это просто корректировка промптов для устранения известных искажений
Ян Чен
доцент по управлению операциями в бизнес-школе Айви

Исследователи объясняют это тем, что языковые модели обучаются на текстах, написанных людьми, а значит, унаследовали их когнитивные ошибки. Эти искажения могут закрепляться в процессе дообучения, особенно при участии людей, которые оценивают ответы моделей по степени правдоподобия.

Ранее Наука Mail писала, ИИ научили интерпретировать ЭКГ с точностью до пикселя.