Русский
English
Квантировать модели теперь можно прямо на смартфоне или ноутбуке.
Специалисты Yandex Research, НИУ ВШЭ, Массачусетского технологического института и других ведущих вузов разработали метод быстрого сжатия больших языковых моделей (LLM) без потери качества. Технология называется HIGGS (Hadamard Incoherence with Gaussian MSE-optimal GridS).
Метод позволяет сжимать нейросети без дообучения и вычислительно сложной оптимизации параметров. Как уточняют авторы разработки, теперь квантизацию (то есть сжатие) модели можно выполнить прямо на смартфоне или ноутбуке — раньше процедура требовала мощностей серверного уровня.
С помощью метода уже удалось сжать DeepSeek-R1 на 671 млрд параметров и Llama 4 Maverick на 400 млрд параметров. Эксперименты показали, что HIGGS дал лучшие результаты среди других способов квантизации без использования данных.
Разработку опубликовали в открытый доступ — ознакомиться с HIGGS можно на Hugging Face и GitHub, а научную статью про него можно прочитать на arXiv. Авторы исследования расскажут о методе на одной из крупнейших в мире конференций по искусственному интеллекту — NAACL, которая пройдёт в США с 29 апреля по 4 мая.
Источник