В Новгородском государственном университете разработали нейросеть для автоматической расшифровки древнерусских грамот. Проект магистранта Ивана Филиппова получил грант в 1 млн руб. по программе «Студенческий стартап».
Хотя распознавание букв — тривиальная задача компьютерного зрения, специфика древнерусских символов создает сложности. Множество вариантов прочтения, устаревшие буквы и редкие диакритические знаки не позволяют использовать стандартные модели. При этом в одном Великом Новгороде найдено больше 1200 берестяных грамот, чья ручная расшифровка крайне трудоемка. Новая разработка призвана стать быстрым инструментом для палеографов, архивистов и библиографов.
Нейросеть обучали на датасете из пяти эталонных грамот с ручной разметкой букв. Для обучения отбирали целые грамоты большого объема с максимальным разнообразием четко написанных символов. Дополнительно в датасет включили автоматические вырезки букв, полученные с помощью детектора.
С запуска детектора начинается процесс работы ИИ. Детектор отвечает за обнаружение и объединение боксов вокруг букв. Боксы — это прямоугольники, заключающие в себе буквы. Так как модель не может принять полную грамоту и дать детальную расшифровку — необходимо давать ей буквы по отдельности, уже после собирая их в строки. Затем происходит сегментация, поиск контуров, объединение соседних боксов по дистанции и соотношение площадей.
Для распознавания букв используется сверточная сеть ResNet-18. Полученные вырезки букв сохраняются в виде PNG-файлов. Экспорт данных реализован на языке программирования Python с использованием стандартных библиотек, что гарантирует легкую интеграцию и последующую аналитику.
Готовое приложение позволяет загружать изображения, автоматически находить и распознавать буквы, экспортируя результаты. Интерфейс Canvas поддерживает зум, панорамирование и ручное редактирование. Система обрабатывает изображение за 1–2 секунды с точностью 98%. Сейчас инновация готова к интеграции в научные проекты и позволяет решать задачи датирования и установления авторства. Модель также можно адаптировать для работы с рукописями, а разработчики открыты для сотрудничества с научными центрами.
Ранее Наука Mail писала о том, что студентка НГУ создала модель для оцифровки тибетских рукописей.
