Каждый, кто снимает на смартфон или профессиональную камеру, сталкивается с цифровым шумом — зернистостью и искажениями на фото, особенно в сумерках или при плохом освещении. Этот эффект возникает из-за множества факторов: неравномерности потока фотонов, разницы в чувствительности пикселей, нагрева матрицы и процессов преобразования сигнала. Традиционно шумы делятся на четыре типа: световые и темновые, временные и пространственные. Световой шум зависит от количества попавшего на матрицу света, темновой присутствует даже в полной темноте. Пространственный шум связан с различиями между пикселями, а временной меняется от кадра к кадру. Производители камер редко указывают реальные шумовые характеристики своих устройств, а существующие стандарты измерения (например, EMVA 1288) требуют съемки десятков специальных сцен и занимают массу времени.
Группа ученых МИФИ предложила решение. Вместо сложных лабораторных установок метод использует продвинутую математическую обработку одного-единственного кадра, позволяя оценить не только величину полного шума, но и значения каждого вида шума по отдельности. Суть новинки — в сегментации изображения и многоступенчатой аппроксимации.
Ученые «разбивают» снимок на участки с разной яркостью и анализируют, как именно сигнал отклоняется от нормы. Это позволяет отделить «врожденные» шумы самой камеры от шумов, которые метод оценивает ошибочно. Затем полученные данные проходят через процедуру взвешенного усреднения, которая отсеивает случайные выбросы и дает точный результат. Особенно важно, отметили в МИФИ, что метод впервые позволяет корректно оценить так называемый параметр PRNU (Photo Response Non-Uniformity) — разницу в чувствительности пикселей — по одному неоднородному снимку. Ранее это было возможно только по серии однородных изображений.
Новая технология радикально ускоряет процесс. Вместо съемки сотен кадров и многочасовой обработки результат можно получить за считаные минуты. Это открывает широчайшие перспективы: от быстрой настройки камер для научных экспериментов до улучшения алгоритмов шумоподавления в смартфонах и системах видеонаблюдения. Например, зная точные шумовые характеристики, нейросети смогут эффективнее «чистить» изображения, не путая шум с важными деталями. В университете утверждают, что разработка ученых МИФИ — это шаг к созданию «идеальной» цифровой фотографии, где техника будет понимать свои собственные недостатки и компенсировать их на программном уровне, выдавая чистые и четкие снимки в любых условиях.