Прогнозировать погоду, активность нейронов или химические реакции традиционными методами трудно — эти системы ведут себя нелинейно. Здесь помогают резервуарные вычисления — нейросети, где обучается только выходной слой, а внутренняя структура, резервуар, фиксирована, что делает алгоритм быстрым и нетребовательным к ресурсам.
Слабое место классических резервуаров — нейроны скрытого слоя связаны случайно, и качество предсказаний зависит от конкретной реализации. Избыточные связи усложняют и физическую реализацию на интегральных схемах.
Команда из Российского экономического университета имени Г. В. Плеханова в рамках проекта Российского научного фонда предложила перестроить резервуар. Вместо хаотичных связей они организовали упорядоченную систему из блоков — плотно связанных групп нейронов (треугольников, тетраэдров, пентаэдров) — и изолированных узлов, рассказали в пресс-службе РНФ.
Проверку вели на трех задачах: прогнозирование нейронной динамики, предсказание систем для динамики атмосферы и химических реакций, восстановление сигналов электроэнцефалограммы. Тетраэдры — блоки из четырех нейронов — дали лучший результат: ошибка прогноза снизилась в четыре раза, а число соединений сократилось в 30 раз. Новые резервуары малочувствительны к выбору начальной конфигурации. Результаты опубликованы в журнале Chaos.
Ранее Наука Mail рассказывала, что жидкие нейросети помогут спутникам лучше видеть Землю.