Это также позволит использовать генеративные ИИ для генерации физически достоверных синтетических данных для обучения физичефского ИИ, сообщила ТАСС пресс-служба Сбербанка.
«Раньше скорость происходящего в кадре задавали только слова в запросе, а повлиять на реальную динамику в создаваемом видео было достаточно сложно. С помощью нашей надстройки модель понимает, как процессы разворачиваются во времени, и умеет естественно задавать нужный ритм в любой сцене, а не заучивает готовые шаблоны. Это ключевое условие для обучения физического ИИ и будущих моделей мира», — пояснил управляющий директор по исследованию данных Сбера Денис Димитров, чьи слова приводит пресс-служба банка.
Как объясняют ученые, существующие системы искусственного интеллекта при генерации видео далеко не всегда правильно передают скорость происходящих событий, в результате чего быстрые действия могут неестественно растягиваться, а медленные — замирать или, наоборот, ускоряться. Это связано с особенностями в архитектуре моделей и тем, что при их обучении приоритет отдается эстетике отдельного кадра, а не физической достоверности.
Для решения этой проблемы российские математики создали компактный модуль, который подключается к готовой нейросети и состоит из двух независимых блоков. Один из них управляет частотой кадров, а второй — динамикой происходящего в каждый момент сцены. Для его обучения ученые подготовили набор из 40 тыс. видеороликов с разной частотой и динамикой, в число которых входили как динамичные сцены с людьми, так и различные медленные природные процессы.
Система способна работать в двух разных режимах, в одном из которых надстройка подключается к уже обученной модели и делает движения на вырабатываемых ей видео более плавными, не меняя общего характера генерации. Во втором случае разработка российских ученых дообучается совместно с генеративной нейросетью, благодаря чему они приобретают способность менять не только плавность движения, но и физику сцены.
Работу этой надстройки ученые проверили в опытах с моделями Kandinsky 5.0 Video Lite и Wan2.2. Проведенные исследователями замеры показали, что их разработка на 29% повысила естественность движений, на 8% улучшила визуальное качество и на 19% повысила соответствие видео текстовому запросу. Исходный код проекта опубликован в открытом виде на популярных платформах для работы ИИ, что позволит разработчикам и исследователям использовать это решение для решения своих задач, подытожили исследователи.