Учёные «Яндекса», ВШЭ и MIT разработали метод сжатия LLM без потери качества


Квантировать модели теперь можно прямо на смартфоне или ноутбуке.

Специалисты Yandex Research, НИУ ВШЭ, Массачусетского технологического института и других ведущих вузов разработали метод быстрого сжатия больших языковых моделей (LLM) без потери качества. Технология называется HIGGS (Hadamard Incoherence with Gaussian MSE-optimal GridS).

Метод позволяет сжимать нейросети без дообучения и вычислительно сложной оптимизации параметров. Как уточняют авторы разработки, теперь квантизацию (то есть сжатие) модели можно выполнить прямо на смартфоне или ноутбуке — раньше процедура требовала мощностей серверного уровня.

С помощью метода уже удалось сжать DeepSeek-R1 на 671 млрд параметров и Llama 4 Maverick на 400 млрд параметров. Эксперименты показали, что HIGGS дал лучшие результаты среди других способов квантизации без использования данных.

Разработку опубликовали в открытый доступ — ознакомиться с HIGGS можно на Hugging Face и GitHub, а научную статью про него можно прочитать на arXiv. Авторы исследования расскажут о методе на одной из крупнейших в мире конференций по искусственному интеллекту — NAACL, которая пройдёт в США с 29 апреля по 4 мая.

Источник

Подписывайтесь на наши соц. сети и получайте больше новостей!

Комментарии

Содержание

В начало
Комментарии

GTA VI поборется на звание лучшей игры года на The Game Awards 2026

CNBC: совет директоров Nvidia не рассматривает возможность возвращения Дженсена Хуанга на пост CEO

Rockstar подтвердила, что GTA VI работает на Xbox Series S в 720р с апскейлом

Firaxis Games сокращает треть штата: что это значит для будущего Civilization

В GTA VI нет дартса и боулинга: Роб Нельсон из Rockstar объяснил, куда ушли ресурсы

GTA 6: 10 дел, которые нужно сделать перед тем, как впервые покинуть убежище

🔥 Горячее

Полиция и система розыска в GTA 6: все 6 звёзд, механика улик и способы уйти от погони

Винтерхолд возвращается в The Elder Scrolls Online — к 15‑летию Skyrim!


Сайт может использовать файлы cookie для работы, улучшения сервиса и показа персональных предложений. Подробнее об этом в Политике конфиденциальности.
Продолжая использовать сайт, Вы соглашаетесь с Условиями использования и Политикой cookie.
Закрыть
licnt20A2