Новые исследования показывают, что, хотя передовые модели искусственного интеллекта обрабатывают язык с поразительной точностью, они испытывают значительные трудности с задачами, требующими устойчивой концентрации внимания и разрешения конфликтов, характерных для человеческого внимания.
Исследование, опубликованное в журнале PNAS, показывает, что по мере увеличения когнитивных нагрузок эти программы полностью теряют способность подавлять автоматические реакции. Результаты свидетельствуют о том, что системам искусственного интеллекта в настоящее время не хватает фундаментального исполнительного контроля, необходимого для развития истинного искусственного общего интеллекта.
В исследовании использовали тест Струпа: человеку показывают слово, обозначающее один цвет, но написанное чернилами другого цвета — нужно назвать именно цвет чернил, а не прочитать слово. Такой тест проверяет способность разрешать внутренние конфликты и удерживать цель.
Ученые проверили модели GPT‑4o и Claude 3.5 Sonnet: при небольшом числе слов (до пяти) программы справлялись неплохо, но когда количество слов росло, точность резко падала — модели переставали следовать инструкции и просто читали текст. Например, у GPT‑4o точность в определении цвета упала с 91% до 1% при увеличении списка слов. Ученые считают, что проблема в отсутствии у ИИ механизма исполнительного контроля — того самого, который у человека помогает подавлять привычные реакции и оставаться сосредоточенным. Современные системы пытаются компенсировать этот недостаток с помощью дополнительных инструментов, например генерации кода, но это не настоящий когнитивный контроль, а обход проблемы.
Результаты показали, что простое увеличение объема данных и масштаба моделей вряд ли даст нужный эффект — для развития ИИ может потребоваться принципиально иная архитектура, в которую изначально встроен механизм управления вниманием.
Ранее Наука Mail рассказывала о том, что эксперт предупредил о риске появления ИИ-копии человека.
