Российские ученые разработали новый метод обучения ИИ для восстановления пропущенных стадий динамики сложных систем. Главная особенность подхода заключается в том, что модель обучается сразу целиком, без необходимости предварительно рассчитывать промежуточные переходы между состояниями.
Исследователи решают задачу восстановления полной динамики системы по данным, доступным только в отдельные моменты времени. Такой подход позволяет выявлять скрытые процессы, влияющие на изменения системы. Например, при изучении биологических клеток ученые часто сталкиваются с тем, что клетка разрушается во время измерения, поэтому наблюдать изменения одной и той же клетки во времени невозможно. В распоряжении исследователей остаются лишь данные о состоянии популяции клеток или частиц в отдельные моменты времени.
Подобные задачи возникают не только в биологии, но и в метеорологии, эпидемиологии и физике — везде, где наблюдения оказываются фрагментарными, а исследователям необходимо получить целостную картину происходящего. Одним из существующих способов решения являются математические методы JKO (Jordan ― Kinderlehrer ― Otto), которые позволяют восстанавливать траекторию движения при условии, что процесс описывается градиентным потоком.
Ученые Института AIRI, Сколтеха и МФТИ предложили новый подход под названием iJKOnet. Он объединяет методы JKO с принципами обратной оптимизации и позволяет обучать модель, используя только информацию о состояниях системы в отдельные моменты времени.
Принцип работы iJKOnet напоминает генеративно-состязательные сети. Одна нейросеть отвечает за поиск оптимального способа перемещения частиц, а другая формирует энергетический ландшафт, при котором наиболее вероятными становятся переходы, наблюдаемые в реальных данных. Благодаря этому модель не просто воспроизводит наблюдения, а восстанавливает внутреннюю логику процесса. Такой подход делает метод более масштабируемым и пригодным для сложных задач машинного обучения.
Еще одним преимуществом iJKOnet стало отсутствие жестких требований к архитектуре нейросетей. Это позволяет использовать стандартные многослойные перцептроны, хорошо работающие со сложными и нелинейными зависимостями.
Эффективность метода исследователи проверили на синтетических двумерных задачах. В таких тестах заранее известно устройство системы, поэтому ученые могут оценить не только точность воспроизведения данных, но и качество восстановления закона, лежащего в основе процесса. В этих экспериментах iJKOnet продемонстрировал преимущество перед предыдущими подходами.
Дополнительно метод протестировали на данных одноклеточного анализа эмбриональных телец. Исследователи намеренно удаляли целые временные промежутки из обучающей выборки, после чего модель должна была восстановить пропущенные стадии. В пространстве размерности 5 iJKOnet показал лучшие результаты среди существующих методов по метрике Вассерштейна. В пространстве размерности 100 метод достиг уровня лучших современных алгоритмов, включая JKONet и JKONet++, но при этом оказался проще в обучении, поскольку не требует сложных процедур сохранения траекторий.
«iJKOnet потенциально может быть полезен в разных областях, где важно описывать динамику систем без возможности отслеживать каждый объект отдельно. Среди таких направлений — метеорология, например моделирование движения воздушных фронтов, и эпидемиология, где нужно описывать распространение вирусов по регионам. Мы планируем развивать метод в двух направлениях: улучшать его масштабируемость для пространств с размерностью значительно выше 100 и расширять теоретическую основу на случаи, когда энергия системы меняется со временем», — отметил Александр Коротин, руководитель группы «Основы генеративного ИИ» Института AIRI и доцент Сколтеха.
Код проекта выложен в открытый доступ.
Ранее Наука Mail писала, что в Ростехе раскрыли будущее промышленного ИИ Shokin GPT.
