Baidu 5 ноября выпустила ERNIE 5.5 Flash Base — базовую языковую модель с доступными весами. Разработчики предлагают использовать её для адаптации к отдельным отраслям, обучения выполнению инструкций и исследований обучения с подкреплением. Это результат предварительного обучения: последующие этапы настройки выпущенная версия не проходила. Версию после дополнительного обучения компания обещает представить позже, без конкретной даты
В модели 280 млрд параметров, однако для каждого токена активируются 14 млрд: архитектура выбирает лишь часть специализированных вычислительных блоков. Предварительное обучение охватило 33,5 трлн токенов с постепенным расширением контекста до 128 тысяч. Для дообучения и работы модели заявлена поддержка контекста до миллиона токенов. В большинстве слоёв история сжимается: каждые 128 токенов объединяются в одну запись кеша. Такая конструкция призвана сократить затраты на длинные последовательности
Веса доступны в двух форматах точности на площадке для размещения моделей; использование регулирует отдельное лицензионное соглашение компании. Собственные испытания разработчики проводили на базовых версиях сопоставимого размера и при одинаковых условиях. Во многих проверках новая модель опередила выбранных соперников, но не во всех. В таблице сравнения указана базовая версия четвёртого поколения модели DeepSeek; результаты не доказывают превосходства над более поздними выпусками конкурента или готовыми помощниками
Насколько полезна такая модель без привычного диалога по инструкциям? Для разработчика возможность самостоятельно задать поведение — существенное достоинство, а для человека, которому нужен готовый помощник по программированию, потребуется ещё этап настройки. Сильные результаты базовой модели и качество законченного инструмента решают разные задачи: между ними остаётся работа по дообучению и проверке
Первоисточник — Baidu
Сообщите редакции. Существенные исправления мы отмечаем в материале