Швейцарская исследовательская лаборатория Huawei открыла исходный код MACaQ под лицензией Apache 2.0. Инструмент снижает точность числового представления весов и промежуточных данных нейросети — такой подход называется квантованием. Он предназначен для подготовки моделей к более экономному выполнению, в том числе на локальных компьютерах
В основе метода — обработка отдельных линейных слоёв: преобразования остаются внутри каждого слоя и не требуют переноса изменений в соседние части нейросети. Разработчики показывают применение к тексту, изображениям, видео, звуку и трёхмерной реконструкции. При этом в опубликованных примерах некоторые компоненты моделей сохраняют исходную точность: речь не идёт о переводе всей нейросети в единый четырёхбитный формат
Для текстовых моделей предусмотрено сохранение в формате GGUF с точностью два, три или четыре бита и запуск через llama.cpp. Также доступны варианты работы через vLLM, Diffusers и PyTorch. Под разные среды авторы рекомендуют отдельные программные окружения; поддержка выполнения на центральном процессоре указана для llama.cpp
По данным авторов, квантование модели со 122 млрд параметров занимает 64 минуты при использовании 32,5 ГБ памяти устройства. Это ресурсы подготовки, а не обещание запустить такую модель в том же объёме памяти. Для текстовой модели на 27 млрд параметров в среде обслуживания запросов заявлено ускорение генерации примерно в 2,6 раза относительно исходного варианта с небольшим ухудшением метрики предсказания текста. Эти показатели получены разработчиками и не означают такого же выигрыша на любом оборудовании и любой задаче
Первоисточник — Huawei Computing Systems Lab
Сообщите редакции. Существенные исправления мы отмечаем в материале