«В обеих категориях модель заняла первое место, среди соперников были агенты на базе как открытых, так и проприетарных систем, в том числе значительно более крупных. Это показывает, что продуманная архитектура, обучение с подкреплением и устойчивые стратегии позволяют относительно небольшой модели конкурировать с проприетарными решениями», — заявил ведущий научный сотрудник AIRI Илья Макаров, чьи слова приводит пресс-служба института.
Как отмечается в сообщении, конкурс MindGames Arena проводился в рамках NeurIPS, ведущей ежегодной международной конференции по развитию ИИ. Он был направлен на развитие и оценку социально-стратегических навыков у ИИ-агентов на базе больших языковых моделей, в том числе умения кооперироваться, предугадывать намерения окружающих, планировать многоходовые действия и распознавать обман.
Участвующие в конкурсе команды ученых и созданные ими системы искусственного интеллекта соревновались в трех играх. В первой из них соревнующиеся системы ИИ угадывали слова и располагали их на особом поле, во второй — распределяли войска по нескольким полям сражений, а в третьей — решали «Дилемму заключенного на троих», пытались строить альянсы и распознавать обман со стороны других ИИ-игроков.
По словам Макарова, российской команде, включающей в себя исследователей из Института AIRI, Университета Иннополис и стартапа Coframe удалось одержать победу по треку, нацеленному на оценку способностей ИИ-агентов к генерализации информации. Благодаря разработанному российскими учеными подходу, им удалось победить сразу в двух «весовых категориях» — среди компактных ИИ-моделей и в абсолютном зачете без ограничений — используя одну и ту же сравнительно небольшую модель с восемью миллиардами параметров.
Эта победа продолжает серию успехов, достигнутых данной командой российских ученых на соревнованиях для ИИ в рамках конференции NeurIPS. Год назад они вошли в число победителей конкурса Concordia Challenge, направленного на разработку универсальных ИИ-ассистентов. Тогда исследователям удалось создать инновационную архитектуру, которая позволяет динамически выбирать наиболее подходящего ИИ- «эксперта» для каждой ситуации.
