Разработчики ggml опубликовали выпуск 1.0.0 библиотеки для вычислений в машинном обучении. Проект рассчитан на переносимость между разными архитектурами: он поддерживает центральные и графические процессоры, нейроускорители и работу в браузере. Реализация на языках Си и Си++ позволяет использовать библиотеку без внешних зависимостей
Обновление затронуло несколько способов выполнения вычислений. Для графических процессоров NVIDIA добавлена поддержка восьмибитного формата с плавающей точкой; на устройствах Apple оптимизирована маршрутизация в моделях со смесью экспертов. В механизме Vulkan появилась обработка входного запроса с оптимизированным вычислением внимания для графики Intel. Планировщик теперь пропускает загрузку входных данных, которые не используются
При переходе на новую версию нужно учитывать совместимость: разработчики удалили устаревшие публичные интерфейсы и операции маскирования. Протокол удалённых вычислений обновлён до девятой версии, несовместимые узлы отклоняются. Сам номер выпуска не означает одинакового ускорения на любом оборудовании: перечень изменений описывает отдельные операции и платформы
Практическая ценность такой переносимости — возможность продолжать использовать имеющееся оборудование для локальных нейросетей. Покупка новой видеокарты не должна быть первым ответом на любую вычислительную задачу: сначала стоит проверить, что умеет доступное железо с подходящим программным обеспечением
Первоисточник — ggml-org
Сообщите редакции. Существенные исправления мы отмечаем в материале