Компания Meituan 1 ноября представила LongCat-2.5 — нейросеть для задач, требующих длительной последовательности действий с инструментами. Модель развивает предыдущую версию и, по заявлению разработчиков, лучше понимает изображения и справляется с программированием. При общем объёме 1,6 трлн параметров на каждый токен активируется около 48 млрд.
Визуальные данные преобразуются в многоуровневые дискретные токены: основная нейросеть обрабатывает их вместе с текстовыми. Такой подход разработчики связывают с возможностями создавать программы по изображениям, работать над дизайном и трёхмерными сценами. Для обучения с подкреплением команда расширила набор длительных заданий, а реальные неудачные попытки агентов превращала в воспроизводимые задачи с проверяемым результатом
Отдельная часть работы посвящена обучению на китайских ИИ-ускорителях и снижению затрат при выполнении запросов. Веса экспертов и активации квантуются до четырёх бит. По внутренним нагрузочным испытаниям команды, пропускная способность при подготовке входного контекста выросла на 43,3%, а при генерации — на 42,77% относительно восьмибитного варианта. Это сравнение режимов вычислений, а не общий прирост качества ответов
На странице анонса представлены демонстрации программных и офисных задач, а также сравнительные тесты. Их результаты публикуют сами разработчики; часть показателей конкурентов взята из внешних отчётов и таблиц результатов. Рядом со ссылками на площадки для размещения кода и моделей пока стоит пометка «скоро», поэтому считать веса уже доступными для скачивания по этому анонсу нельзя
Что именно появится в репозиториях и на каких условиях можно будет использовать модель? Само присутствие ссылок ещё не отвечает на вопросы о весах и лицензии. Для практического выбора эти условия столь же существенны, как результаты тестов
Первоисточник — LongCat (Meituan)
Сообщите редакции. Существенные исправления мы отмечаем в материале