Маленькие модели искусственного интеллекта на смартфонах обычно справляются с простыми задачами, но пасуют перед сложными или незнакомыми изображениями. Отправка каждого запроса на мощный сервер повышает точность, но отнимает время, увеличивает сетевой трафик и создает задержки для пользователей и расходы для поставщиков услуг. Команда под руководством профессора Джэ-Гиля Ли из Школы компьютерных наук Корейского передового института науки и технологий предложила решение этой проблемы — технологию CURE.
Модель на устройстве сначала пытается решить задачу сама. Если не справляется — обращается к ранее сохраненным знаниям от сервера. И только когда их тоже не хватает, запрашивает помощь у большой серверной модели. Полученный ответ не исчезает бесследно, а превращается в долговременное знание, которое устройство применяет в дальнейшем.
CURE позволяет небольшой ИИ-модели на устройстве запоминать и повторно использовать уже полученные знания, вместо того чтобы постоянно задавать серверу один и тот же вопрос.
Технология хранит не исходные изображения, а сводную информацию об их общих чертах и отличиях — как человек запоминает форму кузова или дизайн фар, а не фотографию целиком. Это позволяет распознавать не только уже виденные объекты, но и похожие на них, с которыми система сталкивается впервые.
В тестах использовались визуально-языковые модели MobileCLIP2 на устройстве и EVA-CLIP с 18 миллиардами параметров на сервере. CURE показала точность, близкую к полной передаче всех данных на сервер, при этом количество вызовов серверной модели сократилось на 55,61%. С учетом времени передачи данных технология работала в 2,8 раза быстрее базового варианта без накопления и в 3,67 раза быстрее подхода с отправкой всех данных на сервер.
CURE не требует переобучения ни одной из моделей — обе остаются без изменений, а знания хранятся в отдельном хранилище. Это делает технологию адаптивной для разных моделей и сервисов. Среди потенциальных областей применения — роботы и носимые устройства, которым необходимо распознавать окружение при ограниченных ресурсах и ненадежной связи.
Ранее Наука Mail рассказывала, почему ИИ не может обучаться на закрытом контенте.