Илья Макаров, PhD, ведущий научный сотрудник Института AIRI, рассказывает о том, как искусственный интеллект меняет работу археологов, почему человек остается ключевым участником процесса интерпретации древних текстов и неочевидных способах применить полученные в ходе таких исследований результаты.
— Почему вы решили применить ИИ именно к задачам археологии, какие перспективы открывает технология?
— Мы наблюдали стремительный прогресс больших языковых моделей и хотели понять, где, помимо точных наук, ИИ может не просто повторить то, что и так успешно делают люди, но и привнести новое знание. Изучение древних языков без живых носителей и их культур оказалось именно такой областью. Специалистов в мире очень мало, а разрыв между компьютерными и гуманитарными науками огромен. Проект вырос из идеи подумать над «Google Переводчиком в режиме камеры» для музеев и со временем превратился в полноценный инструмент для специалистов. Ученым система ускорит расшифровку и оцифровку текстов и откроет комплексный анализ, который невозможно провести вручную: как знаки менялись со временем, чем отличались почерки писцов разных регионов и эпох.
— Расскажите подробнее про систему.
— Мы создали прототип веб-приложения, которое по фотографии иероглифической надписи автоматически формирует три взаимосвязанных результата: коды Гардинера, транслитерацию и перевод на английский язык. На каждом этапе система использует модели глубокого обучения для создания первоначального варианта, после чего исследователь может проверить результат, внести исправления и повторно запустить любой этап обработки в интерактивной рабочей среде. Такой подход сохраняет ключевую роль экспертной оценки, одновременно существенно сокращая объем работы, связанной с поиском и сверкой данных.
— А что такое коды Гардинера?
— Коды Гардинера — это международный стандарт классификации древнеегипетских иероглифов, разработанный британским египтологом Аланом Гардинером в ХХ веке. По сути, это система уникальных обозначений, в которой каждому иероглифу присваивается буквенно-цифровой код в зависимости от его тематической группы и порядкового номера. Такая классификация позволяет исследователям по всему миру однозначно идентифицировать знаки, обмениваться данными и работать с цифровыми корпусами древнеегипетских текстов. В нашей системе коды Гардинера служат первым этапом обработки. Алгоритм сначала распознает отдельные иероглифы и присваивает им соответствующие коды, после чего преобразует их в научную транслитерацию и только затем выполняет перевод. Благодаря такой поэтапной архитектуре каждый шаг остается прозрачным и проверяемым, чтобы специалист мог скорректировать ошибку еще до того, как она повлияет на итоговую интерпретацию текста.
— Почему именно египтология?
— Во многом из любви к самой цивилизации. Древний Египет завораживает почти каждого с детства, иероглифы видит любой посетитель музея, но прочитать их могут единицы. Получается удивительная ситуация. Одна из самых знаменитых письменностей мира остается для публики красивым орнаментом, а сообщество египтологов слишком небольшое, чтобы обработать все накопленные тексты.
При этом для ИИ египтология оказалась на редкость удачной точкой входа. Существует «Thesaurus Linguae Aegyptiae», самое полное собрание древнеегипетских текстов с переводами. Без такой базы обучить модели было бы невозможно. А само письмо представляет отличный вызов для технологий, потому что это сотни визуально похожих знаков, смысл которых очень сильно зависит от контекста. Так сошлись три вещи: красивая задача, реальная потребность и данные, на которых можно обучаться.
— Отличительная черта египетской иероглифики — высокая вариативность написания знаков. Кроме того, фотографии древних текстов часто бывают повреждены. Что из этого стало наиболее сложным для корректной работы алгоритмов?
— Самым сложным оказалось то, что обе проблемы бьют в одну точку — всегда хочется найти больше данных. Знаков в египетском письме сотни, многие различаются едва заметными деталями, и при этом разные эпохи, регионы и мастерские выводили их по-своему. Добавьте сюда разнообразие носителей от каменных рельефов и папирусов до музейных фотографий и сканов из книг, а также сколы, трещины и выцветшие фрагменты. Модель, обученная на аккуратных прорисовках, при встрече с реальной фотографией резко теряет качество, а размеченных примеров, покрывающих все это разнообразие, до нашей работы практически не существовало.
Главным решением стала архитектура. Вместо одной огромной нейросети, которой нужны миллионы примеров, мы построили конвейер из компактных моделей, каждая из которых решает свою узкую задачу. Одна находит на изображении строки и колонки текста, вторая выделяет отдельные иероглифы, третья определяет знак по каталогу и его ориентацию, по которой алгоритм восстанавливает порядок чтения. Каждую модель можно обучать и улучшать независимо, и именно это позволяет выжать максимум качества. Сами данные мы собирали так, чтобы охватить разные стили письма и типы носителей, а для расширения обучающего набора использовали диффузионные модели, генерирующие реалистичные изображения иероглифических текстов.
— Как вы преодолевали проблему дефицита данных при обучении модели?
— Разметка вручную — это очень медленная и трудоемкая работа, поэтому реальных обучающих примеров всегда будет мало. Наш главный ответ на это — синтетические данные. Мы генерируем искусственные изображения иероглифических текстов, следя за реалистичностью сразу на трех уровнях. На языковом в основе лежат последовательности знаков из настоящих египетских текстов, а не случайные наборы символов. На структурном знаки группируются в блоки, строки и колонки по правилам настоящей иероглифики. И на визуальном диффузионные модели отрисовывают изображение с разными стилями письма и фактурами поверхностей.
В итоге вместо горстки размеченных страниц у нас появляется практически неограниченный поток обучающих примеров. Модель сначала учится на синтетике, а затем дообучается на наборе реальных данных, и это заметно улучшает распознавание, особенно редких знаков. Приятный бонус в том, что сам метод не привязан к Египту. Тот же подход к генерации данных можно применить к другим древним или рукописным документам, для анализа которых размеченных материалов мало. Конечно, синтетика не идеальна, так что работа по сбору и разметке реальных данных нами тоже ведется.
— Часто ли система галлюцинирует? Как египтологи отличают настоящую гипотезу от галлюцинации алгоритма?
— В привычном смысле слова почти никогда, это следствие устройства системы. Галлюцинируют чат-боты, которые уверенно сочиняют несуществующие факты. Наш распознающий модуль работает иначе. Он выбирает знак из фиксированного каталога иероглифов и поэтому может ошибиться, перепутав похожие символы, но не может выдумать что-то. Перевод устроен осторожнее чат-ботов по той же причине. Модель обучена на реальных египетских текстах с переводами и работает с короткими фрагментами, а не сочиняет свободный рассказ. Важно и то, что система изначально задумана не как источник готовых ответов, а как помощник, ведь ее работа состоит в том, чтобы предложить вариант чтения, который дальше проверяется специалистом.
Отличить ошибку от настоящей гипотезы помогает прозрачность конвейера. Система показывает все промежуточные шаги: какие знаки она увидела, как разбила их на слова, какую транслитерацию и перевод предложила. Каждый шаг египтолог может сверить с изображением и с тем широким контекстом, которого у модели пока нет. Например, с эпохой памятника, жанром текста, параллельными надписями, грамматикой. Кстати, именно так мы и оценивали качество. Сначала автоматические метрики, затем проверка профессиональными египтологами. Финальная интерпретация всегда остается за ученым, система лишь экономит его время на пути к ней.
— Расскажите поподробнее про архитектуру конвейера, как вы пришли именно к такому порядку работы?
— Ровно так уже двести лет устроена работа с текстом в египтологии: разобрать написание знаков, записать текст в научной транслитерации и только потом перевести. Коды Гардинера и транслитерация не наше изобретение, это стандартные представления, которыми пользуется вся наука о Древнем Египте. Повторяя эту схему, система на каждом шаге говорит со специалистом на привычном ему языке. То есть египтолог видит каждый промежуточный результат, может проверить его и поправить до того, как ошибка потянется дальше. Черный ящик, который сразу выдает готовый перевод, для науки почти бесполезен, ведь проверить его невозможно.
Доступные корпусы устроены точно так же. В «Thesaurus Linguae Aegyptiae» тексты хранятся с выровненными транслитерациями и переводами, и каждый модуль конвейера можно обучать на своем срезе этих данных и улучшать независимо от остальных. При дефиците примеров это критично. Мы, кстати, проверяли и альтернативу. Обучение единой мультимодальной модели, которая идет от изображения сразу к переводу, дало заметно худшее качество. Многоступенчатая схема при нынешних объемах данных намного сильнее.
— А как с этической точки зрения, могут ли ошибки в промежуточных предсказаниях модели привести к созданию ложных исторических нарративов?
— Риск накопления ошибок в многоступенчатой системе действительно существует, так как неверно распознанный знак меняет слово, а слово меняет перевод. Но это еще одна причина, по которой мы сделали конвейер именно многоступенчатым. Специалист видит каждый промежуточный результат, может отредактировать его прямо в рабочем пространстве, и исправление сразу учитывается на следующих шагах. Ошибка, пойманная на уровне знака, просто не успевает дорасти до неверного перевода. Кроме того, когда система прозрачна, специалист остается ответственным за финальный результат, как это было десятилетиями.
Что же касается ложных исторических нарративов, то здесь у науки есть и другая система защиты, тоже испробованная временем. Результат работы системы — это черновик и рабочая гипотеза, а не публикация. Прежде чем стать историческим утверждением, чтение текста проходит через ученых, проходит сверку с параллельными источниками и, конечно, рецензирование. Автоматический перевод никогда не бывает единственным основанием для вывода. По-настоящему важно именно отношение людей к работе. Чтобы «случайный» пользователь не принимал сырой перевод за истину. Мы везде подчеркиваем статус системы как помощника и делаем дисклеймеры.
— Исправления, которые специалист вносит в систему по ходу работы, используются только в рамках одной сессии или модель на них дообучается?
— Исправления не пропадают после закрытия сессии. Система сохраняет их как аннотации, привязанные к конкретному изображению. По сути, каждая рабочая сессия специалиста попутно создает новые размеченные данные, а это самый дефицитный ресурс во всей области. Но автоматического дообучения на лету не происходит. Модель обновляется только контролируемо, и, если собранные правки проходят проверку, они могут попасть в обучающий набор. Это сознательное решение, ведь дообучение на непроверенных правках могло бы со временем не улучшить, а испортить модель.
Есть и вторая причина, этическая. Не все пользователи хотят, чтобы на их данных обучались модели. Египтологи нередко работают с еще не опубликованными материалами, и вопросы научного приоритета здесь очень чувствительная тема. Поэтому использование правок для обучения происходит только с согласия пользователя, не по умолчанию.
— Какие критерии вы использовали для того, чтобы оценивать работу системы?
— Оценка шла на двух уровнях. Сначала мы измеряли качество каждого этапа конвейера по отдельности и смотрели, насколько точно система находит и распознает знаки, насколько ее переводы близки к эталонным переводам из научного корпуса. Здесь работают автоматические метрики. Спорные случаи оценивали профессиональные египтологи. Затем мы проверяли систему целиком в исследованиях с реальными пользователями, египтологами и студентами. Критериев было несколько. Засекали время — сколько занимает разбор одного и того же текста вручную и с помощью системы. Считали количество исправлений, которые специалисту пришлось внести в предсказания, ведь чем их меньше, тем полезнее подсказки. Сравнивали качество итогового результата с полностью ручной работой. Обязательно собирали отзывы в свободной форме, чтобы узнать, что мешало, чего не хватает, где система удивила. В ходе пилотного исследования участники выполняли одинаковые задачи в среднем за 48 минут вместо 60, а также демонстрировали более высокое качество распознавания, транслитерации и перевода по сравнению с традиционным ручным подходом.
— Как вы оцениваете значимость получившихся результатов?
— Вопрос справедливый, и мы сами оцениваем эти результаты трезво. Выводов уровня «доказано на тысячах пользователей» мы не делаем. Но здесь важно понимать масштаб самой области. Египтология — это чрезвычайно узкое сообщество, активно работающих специалистов в мире совсем немного, и собрать даже несколько из них на многочасовое исследование уже непростая задача. Для дисциплины такого размера восемь участников — это заметная часть доступного профессионального круга.
Сам эффект мы считаем значимым. Ускорение работы, сокращение ручных поисков по справочникам проявились не на уровне статистической погрешности, а вполне ощутимо, повторяясь от участника к участнику. Не менее ценным оказался подробный качественный разбор, каждый специалист работал с системой на глубоком уровне и подсказал, что менять в ее дизайне. Мы рассматриваем это как сильный ранний сигнал, который будем подтверждать в более крупных исследованиях по мере того, как система открывается для новых пользователей.
— То есть планируете проводить эксперимент на более широкой выборке?
— Да, это естественный следующий шаг, и главное ограничение здесь не техническое, а человеческое! До сообщества египтологов нужно дотянуться. Поэтому мы сознательно работаем на видимость проекта. Представляем его на международных конференциях и даем интервью. Каждый новый пользователь для нас — это одновременно и участник будущих, более масштабных исследований. Пользуясь случаем, хотел бы пригласить всех коллег: если вы египтолог, студент или музейный специалист и у вас есть свои материалы, приходите к нам и приносите свои папирусы и саркофаги. Чем разнообразнее тексты и пользователи, тем честнее оценка системы и тем быстрее она становится лучше. Такие проекты растут только вместе с сообществом.
— Есть ли у системы ограничения, которые пока остаются нерешенными? Как планируете над ними работать?
— Два ограничения мы видим особенно четко. Первое касается интерфейса. Текущая версия системы собрана на основе универсального фреймворка для разметки данных. Это мощный инструмент, но он создавался для задач промышленной разметки и перегружен функциями, которые в работе с текстом просто не нужны. Наше пилотное исследование честно это показало. Часть усилий участников уходила на борьбу с интерфейсом, а не на сам текст. Поэтому сейчас мы проектируем более легкую оболочку, построенную вокруг привычного рабочего процесса египтолога, а не вокруг логики разметочного инструмента.
Второе ограничение — это охват письменностей. Пока система читает только иероглифику. Самое интересное во многом лежит дальше. Иероглифы — это парадный, монументальный стиль, тексты храмов и гробниц. Повседневная же жизнь Египта записана скорописью — иератикой и демотикой. Письма, договоры, расписки, школьные упражнения, медицинские и литературные папирусы — все это огромные музейные собрания, в значительной части до сих пор не изданные и не переведенные. Для распознавания скоропись заметно сложнее, потому что знаки сливаются в лигатуры, да и сильнее проявляется индивидуальный почерк писца. Но архитектура системы модульная, и по мере накопления данных, в том числе синтетических, мы расширяем ее и на эти письменности.
— В перспективе сервис будет переведен в полностью открытый формат или это будет закрытое университетское ПО?
— Мы выбрали промежуточный путь. Сейчас открываем систему для ученых по запросу. В будущем часть моделей мы планируем полностью открыть, в том числе разработки за пределами основного конвейера. При этом выкладывать в открытый доступ сервис целиком и самые сильные из наших моделей мы пока не собираемся, потому что это живой проект, который продолжает развиваться и улучшаться.
Наша цель — это полноценный ИИ-ассистент для египтологии, и мы строим его так, чтобы он был доступен исследователям, студентам и музеям, а не заперт внутри одной лаборатории. В какой бы форме сервис ни существовал, технология должна служить всем, кто работает с наследием Древнего Египта. Это наш принцип.
— Сложно ли переобучить систему работать с другими древними текстами? Например, шумерской клинописью или письменностью майя. Есть ли такой запрос?
— Переобучение, конечно, потребуется, потому что модели, натренированные на иероглифах, сами по себе клинопись не прочитают. Но система с самого начала проектировалась переносимой. Конвейер модульный, а дефицит данных закрывается синтетической генерацией. Для нового языка нужны три вещи: каталог знаков, корпус текстов с переводами и небольшой набор размеченных изображений, дальше включается уже отработанная схема. Это не нажатие одной кнопки, но и не новый проект с нуля. Мы это уже проверили на практике. Такой подход адаптировался к нескольким другим древним письменностям, результаты получились достойные, и статьи об этом уже приняты на международные конференции.
Запрос на такие технологии есть, интерес к теме устойчивый. Мы видим его и со стороны коллег-гуманитариев, и со стороны исследователей ИИ. Уверен, что главные результаты здесь появятся на стыке, там, где эксперты по древним культурам и специалисты по машинному обучению работают вместе.
— Какие открытия уже удалось сделать благодаря ИИ, которые было бы сложно или невозможно совершить традиционными методами?
— С помощью нашей системы пока никаких, и мы считаем важным об этом говорить прямо. Корпусной анализ уже подарил нам некоторые перспективные инсайты, но проект находится на стадии пилотных исследований, и его основной нынешний вклад — это ускорение рутинной работы, не сенсационные прочтения. Разрыв между исследовательским прототипом, пусть даже с хорошими метриками, и полноценным внедрением в повседневную научную практику огромный, и мы только начинаем его закрывать. Настоящие открытия появятся тогда, когда системой в ежедневном режиме начнет пользоваться научное сообщество, а также когда мы доберемся до еще не оцифрованных демотических и иератических архивов, и все это впереди. Даже простые с точки зрения компьютерных наук инструменты могут раскрыть уже известные исторические объекты с неожиданной стороны и подсветить неявные зависимости.
Сам путь к внедрению оказался отдельной исследовательской задачей. Египтология — это дисциплина с устоявшимися за два столетия методами работы, и новый инструмент здесь не принимают на веру. Доверие нужно заслужить. Технология должна встроиться в привычный рабочий процесс ученого, не сломать его. Именно поэтому мы столько внимания уделяем пилотным исследованиям с реальными специалистами, которые показывают не только, что улучшать в моделях, но и как сделать так, чтобы инструментом действительно захотели пользоваться.
— Для чего еще могут пригодиться полученные в процессе работы результаты? Есть ли у исследования другие применения, помимо археологии?
— Да, самый наглядный пример уже случился. Наш конвейер генерации синтетических данных мы адаптировали для современного русского рукописного текста, и статья об этом тоже принята к публикации. Задача оказалась родственной. Как и в египтологии, размеченных рукописных данных всегда не хватает, ведь собирать настоящие почерки дорого, а вдобавок это еще и персональные данные. Синтетика снимает обе проблемы. Модель учится на искусственных, но реалистичных примерах, и качество распознавания растет.
В более широком смысле наши наработки полезны везде, где текст существует в виде изображений. Это и архивы, и библиотеки, и музеи, и документооборот компаний или заводов, где до сих пор живут рукописные анкеты и формы. А выводы наших исследований о взаимодействии эксперта с ИИ переносятся на любую область, где специалист проверяет и правит предсказания модели. Получается вполне симметричный обмен. Изучая древние тексты, мы создаем технологии, которые работают на современность.
— Есть ли риск, что с развитием ИИ археология станет менее романтичной? Меньше экспедиций и больше работы за компьютером?
— Вообще-то ИИ забирает на себя как раз ту часть работы, которую никто и не назвал бы романтичной. Это многочасовой поиск знаков по справочникам, каталогизация, переписывание и сверка текстов. Времени на экспедиции, интерпретацию и настоящие научные вопросы у специалистов станет не меньше, а больше. К тому же разрыв между развитием ИИ в цифровом мире и его воплощением в физическом все еще огромный. Роботов, способных заменить человека с лопатой, а тем более поддержать вечерние экспедиционные традиции, ждать придется слишком долго.
Единственное, где поездок действительно может стать меньше, это работа с уже раскопанными артефактами. Когда у памятника есть качественная цифровая копия, не нужно лететь через полмира, чтобы уточнить одно сомнительное написание на стеле из запасника чужого музея. Но это больше про сокращение ненужных перемещений. Новые находки по-прежнему рождаются на раскопках, и здесь все остается на своем месте. Чем быстрее обрабатываются находки, тем скорее археолог возвращается к раскопкам.
Мы, честно говоря, надеемся сами присоединиться к какой-нибудь археологической экспедиции, чтобы вживую увидеть использование наших инструментов и найти новые точки приложения для ИИ.