Ученые НИУ ВШЭ в Перми разработали NeuroSkate — нейросеть, которая может распознавать, как двигаются фигуристы, и определять, насколько точно они выполняют те или иные элементы. Сейчас ИИ легко справляется с базовыми элементами. Однако разработчики отмечают, что дальнейшее обучение модели даст возможность более точно распознавать и сложные прыжки.
Обучение модели проводилось на данных записей соревнований и специально снятых видео тренировок. Исследователи выбрали для этого такие движения, как бильман, вращения, кораблик, а также несколько базовых одинарных прыжков — флип, риттбергер и лутц.
На начальном этапе тестирования при бинарной классификации (сравнение двух элементов), точность распознавания достигала 72%. Усложнение задачи (увеличение количества сравниваемых элементов) привело к снижению точности. Для ее повышения исследователи расширили обучающую выборку, добавив новые видеозаписи, и провели дополнительное обучение нейронной сети.
Процесс распознавания движений осуществляется в несколько этапов. Сначала видеопоток делится на отдельные кадры. На каждом алгоритм определяет и маркирует ключевые точки на теле спортсмена. Затем последовательность из 60 кадров с помеченными ключевыми точками подается на вход нейронной сети для анализа.
Еще одна сложность, с которой столкнулась команда проекта NeuroSkate, — оказалось, не так легко воплотить идею в жизнь без большой базы обучающего материала для ИИ. В открытом доступе такой информации мало. Еще сложнее — собрать базу видео юных фигуристов. Но решить эту задачу помогло сотрудничество с одной из спортивных школ олимпийского резерва.
Параллельно разработчики создали веб-приложение, которое позволяет тренерам загружать видеозаписи и анализировать технику. Это может существенно оптимизировать процесс тренировок и оценки прогресса фигуристов. Особенно это будет актуально в группах с большим числом спортсменов.
В Японии тем временем искусственный интеллект используют для спасения сакуры.
