Ранее для запуска языковой модели на смартфоне или ноутбуке требовалось провести ее квантизацию на дорогостоящем сервере. Процесс занимал несколько недель – теперь его выполнение требует несколько минут на обычном телефоне или компьютере.
Сложность в использовании больших языковых моделей и опенсорс-моделей — в требовании значительных вычислительных ресурсов. Одна из них, DeepSeek-R1, не помещается даже на дорогостоящих серверах для работы с искусственным интеллектом. Это означает, что использовать большие модели может только ограниченный круг компаний. Новый метод позволяет уменьшить размер модели без потери качества и запустить на обычных телефонах или компьютерах. HIGGS дает больше возможностей для использования LLM в различных областях — например, в образовании или социальной сфере. Теперь стартапы и независимые разработчики могут использовать сжатые модели для создания инновационных продуктов и сервисов без трат на дорогое оборудование.
HIGGS позволяет сжимать нейросети без использования дополнительных данных и без вычислительно сложной оптимизации параметров. Это особенно полезно в ситуациях, когда недостаточно подходящих данных для дообучения модели. Метод обеспечивает баланс между качеством, размером модели и сложностью квантизации, что позволяет использовать модели на самых разных устройствах.
Метод уже проверили на популярных моделях Llama 3, Llama 4 и Qwen 2.5. Эксперименты показали, что HIGGS — это лучший способ квантизации по соотношению качества и размера модели среди всех существующих методов квантизации без использования данных. В разработке метода участвовали ученые из НИУ ВШЭ, Массачусетского технологического института (MIT), Австрийского института науки и технологий (ISTA) и Научно-технологического университета имени короля Абдаллы (KAUST, Саудовская Аравия).
Ранее британский ученый поделился новым подходом к объяснению природы сознания, которым на определенном этапе своей эволюции может гипотетически обладать искусственный интеллект.
