Российские ученые предложили способ ускорить обучение нейросетей в распределенных системах и снизить нагрузку на вычислительные ресурсы. Разработку представили специалисты Центра практического искусственного интеллекта Сбербанка и МФТИ.
Современные нейросетевые модели могут содержать миллиарды параметров, поэтому для их обучения все чаще используют распределённые системы — данные разбивают между множеством машин, чтобы ускорить процесс. Но в таких сетях значительная часть времени уходит на обмен данными между устройствами. Если этот процесс не оптимизировать, обучение может идти даже медленнее, чем на одном мощном сервере.
Новый метод решает эту проблему. Он использует сжатие передаваемой информации и реже проводит синхронизацию между устройствами, при этом качество обучения остаётся неизменным. Такой подход особенно полезен, когда соединение медленное или нестабильное, а задержки могут «затормозить» всю систему.
Исследователи подчеркивают, что алгоритм применим в разных отраслях — от финансов и телекоммуникаций до промышленности и науки. Он не только экономит вычислительные ресурсы, но и снижает энергозатраты, что делает AI-разработку более доступной.
По словам Глеба Гусева, директора Центра практического искусственного интеллекта, ключевое новшество метода в том, что он объединяет гомогенность данных и техники сжатия, сокращая нагрузку на сеть.
Александр Безносиков из МФТИ добавляет, что алгоритм показал рекордную эффективность в экспериментах, значительно ускоряя обучение без потерь в точности. Это особенно важно для систем с edge-устройствами и других сред, где ресурсы ограничены.
Ранее мы рассказывали, что ИИ научился определять дату родов с высокой точностью.
