Исследование Microsoft опровергло миф о замене человека искусственным интеллектом. Абсолютно все взятые модели оказались неспособны справиться с рабочими задачами без человека.
Ирония ситуации сложилась в том, что проводилось исследование для доказательства обратного.
Для исследования был создан эталон DELEGATE-52, который собрал типичные задачи 52 профессий. Лучшая модель была готова к делегированию задач только в 11 из 52 случаев. Компания протестировала Chat GPT, Gemini и другие ИИ. Даже новые агенты «следующего уровня» не прошли проверку.
В рандомный момент нейросети удаляли куски данных. Каждая 2-я — 4-я операция заканчивалась порчей или потерей информации. Средний процент потерь составил от 25 до 50%. Искажения начинались уже после 20 взаимодействий, а катастрофическое повреждение происходило более чем в 80%.
Ранее российские ученые научили ИИ восстанавливать пропущенные этапы сложных систем.
