Команда исследователей из Института AIRI, Центра квантовых технологий Сбербанка и Сколтеха представила astralora. Этот метод открывает путь к обучению гибридных нейросетей на альтернативных вычислителях — фотонных, нейроморфных и аналоговых чипах. В пресс-службе института AIRI уточнили, что такие устройства обещают выигрыш в скорости и энергопотреблении.
Главная сложность в том, что классическое обратное распространение ошибки требует доступа к внутренним градиентам каждого слоя. Если слой ведет себя как «черный ящик», сигнал об ошибке через него не провести.
Astralora обходит это ограничение. Сначала параметры модуля меняют случайным образом и фиксируют отклик системы. Затем на основе этих проб строится компактная суррогатная модель, которая приближенно описывает поведение устройства и пропускает обратный сигнал. По мере работы она подстраивается под текущее состояние «черного ящика».
Подход проверили на шести цифровых моделях фотонных слоев — от матричных умножителей до интерферометров Маха-Цендера. Задачи взяли из трех областей: распознавание изображений (CIFAR-10), классификация городских звуков (UrbanSound8K) и языковое моделирование на GPT-2 с 417 миллионами параметров.
Выяснилось: точное знание внутреннего устройства компонента не требуется. Наблюдений за реакцией на случайные изменения плюс адаптивной суррогатной модели достаточно, чтобы гибридная сеть обучалась и выдавала результаты, близкие к полностью цифровым аналогам. Станислав Страупе из Сбербанка отметил, что алгоритм позволяет задействовать экзотические устройства вместе с цифровой электроникой в гибридных системах и обучать модели без потери качества.
Ранее Наука Mail рассказывала, что ИИ смог уменьшить компоненты фотонного чипа в 500 раз.