Совмещение медицинских снимков — важная часть диагностики. Врачи сравнивают томограммы, чтобы отследить развитие болезни, уточнить границы повреждений и подготовиться к операции. Но современные МРТ дают огромные объемы данных, и их обработка требует мощных видеокарт и больших вычислительных ресурсов.
Студент Никита Дроздов и старший научный сотрудник лаборатории математических методов обработки изображений ВМК МГУ Дмитрий Сорокин представили новый метод совмещения медицинских изображений на основе нейронных операторов. Разработанная модель FNOReg может обучаться на снимках пониженного разрешения, а применяться на исходном разрешении без потери точности, что критически важно для работы с большими объемами 3D-данных, например, при томографии головного мозга. Решение позволяет существенно экономить вычислительные ресурсы, не жертвуя точностью. Работа была представлена на конференции International Conference on Pattern Recognition (ICPR) и опубликована в журнале Lecture Notes in Computer Science.
В основе метода — архитектура Нейронного оператора Фурье. В отличие от обычных нейросетей, которые анализируют изображение по небольшим участкам, он работает с изображением целиком и выделяет общую структуру. Благодаря этому модель сохраняет точность даже при изменении разрешения данных.
Модель тестировали на публичном наборе данных OASIS-1, содержащем МРТ-снимки головного мозга. При обучении на изображениях полного разрешения FNOReg показала точность, сопоставимую с лучшими современными аналогами (VoxelMorph, TransMorph). Ключевой прорыв проявился, когда модели обучали на снимках, разрешение которых было уменьшено вдвое. Точность ведущих аналогов при этом падала на 24−25%, в то время как точность FNOReg снижалась незначительно — всего на 0,8% для 2D и на 2,7% для 3D-данных. Это означает, что модель можно эффективно обучать на сжатых данных, экономить до 75% видеопамяти, а затем применять к снимкам высокого разрешения без потери качества. Такой подход особенно важен для трехмерных МРТ, где объем информации очень велик.
Наша разработка открывает путь к более эффективной обработке больших медицинских данных, особенно трехмерных. Исследователи смогут тратить меньше ресурсов на вычисления и в итоге получать более точные и плавные карты деформаций для совмещения снимков. Это важный шаг к внедрению сложных ИИ-методов в реальную клиническую практику.
Исходный код модели FNOReg находится в открытом доступе, что позволит научному сообществу использовать и развивать эту технологию.
Ранее Наука Mail рассказывала о том, что новая система 3D-визуализации может преодолеть ограничения МРТ, КТ и УЗИ.
