Yandex Research разработал и выложил в открытый доступ новые методы сжатия нейросетей. По заявлению компании, они позволяют сократить расходы бизнеса на вычислительные ресурсы до восьми раз
Специалисты Yandex Research совместно с коллегами из IST Austria и Kaust разработали и выложили в открытый доступ новые методы сжатия больших языковых моделей, сообщила пресс-служба российской компании. Решение делает внедрение нейросетей и обслуживание оборудования дешевле для бизнеса.
В Yandex Research объяснили, что для качественных и быстрых ответов большая языковая модель нуждается в большом количестве дорогостоящих и мощных графических процессоров. Новая разработка уменьшает модель в несколько раз и делает возможным ее запуск на устройствах с меньшей вычислительной мощностью. При этом, если другие методы сжатия приводят к снижению качества ответов нейросети, то разработка «Яндекса» «решает эту проблему».
Новое решение включает в себя два инструмента. Первый уменьшает нейросеть до восьми раз и позволяет запустить ее на одном графическом процессоре вместо четырех. А второй исправляет ошибки, возникающие при сжатии большой языковой модели. Уменьшенная нейросеть при этом работает быстрее.
При проверке эффективности методов сжатия нейросетей на моделях с открытым исходным кодом (Llama 2, Llama 3, Mistral и другие) было установлено, что метод «Яндекса» сохраняет в среднем 95% качества ответов нейросети. Другие популярные методы сохраняют от 59% до 90% качества.
Код нового метода сжатия нейросетей уже опубликован на GitHub и доступен для применения. Исследователи Yandex Research, кроме того, выложили в сеть обучающие материалы, чтобы помочь разработчикам дообучить уменьшенные нейросети под свои сценарии. Научная статья Yandex Research о методе сжатия AQLM включена в программу одной из самых престижных в мире конференций по машинному обучению — ICML.
Yandex Research — команда исследователей, которая изучает фундаментальные вопросы в области искусственного интеллекта. В том числе они занимаются обработкой естественного языка, компьютерным зрением, нейросетями и создают решения, которые будут внедрены в продукты компании. Благодаря специалистам Yandex Research «Яндекс» стал одной из лидирующих технологических компаний по числу научных публикаций на NeurIPS, ICML и других главных международных конференциях по машинному обучению.