Свежий тест ARC-AGI-2, созданный некоммерческой организацией Arc Prize Foundation, показал катастрофическое отставание ИИ от человеческого интеллекта. Лучшая из существующих моделей смогла набрать лишь 1,3%, в то время как средний результат обычных людей приблизился к отметке 60%.
В ходе теста оценивались способность к абстрактному мышлению, умение находить причинно-следственные связи, возможность применять знания в новых ситуациях, социальное взаимодействие. По каждому из этих пунктов человек полностью переиграл искусственный интеллект.
В чем алгоритмы оказались беспомощны? Они демонстрировали непонимание контекста, путались в простых ситуациях. У них отсутствовал здравый смысл: ИИ не мог предсказать очевидные последствия действий. У него наблюдались явные проблемы с юмором: он не отличал шутки от серьёзных утверждений.
Отсюда напрашивается вывод: ИИ научился блестяще имитировать интеллект, но по-прежнему не обладает им. Разрыв между им и человеческим интеллектом по-прежнему колоссален. И если разработчики намерены добиться реального прогресса в эволюции ИИ-систем, им необходимо пересмотреть свои подходы.
Фонд ARC Prize Foundation позиционирует тест ARC-AGI-2 как новый стандарт для оценки возможностей искусственного общего интеллекта (AGI). Этот тест пришел на смену предыдущей версии — ARC-AGI-1. Напомним, что за решение первой версии теста в прошлом году фонд предложил вознаграждение в размере одного миллиона долларов США.
Ранее стало известно, что новый генератор видео впечатлил одного из создателей «Матрицы».
