Компания Ricursive Intelligence выпустила предварительную версию языковой модели Ripple-65B Preview и предоставила её веса для скачивания. Это универсальный вариант внутренней модели, которая используется в собственной платформе проектирования микросхем. Разработчик также сообщил о доступности новинки через несколько облачных площадок
Модель содержит 65 млрд параметров и использует плотную архитектуру: в отличие от схемы со смесью экспертов, вычисления не распределяются между выборочно включаемыми блоками. Для предварительного обучения использовали 12 трлн токенов; заявленная длина контекста достигает миллиона токенов. Архитектуру оптимизировали для обучения и работы на оборудовании NVIDIA
По данным компании, в тесте выполнения задач в терминале TerminalBench 2.1 модель получила 80,52 балла. Разработчик называет это лучшим результатом среди американских моделей с открытыми весами. Полные расходы на исследования, разработку и обучение с нуля компания оценивает в 32 млн долларов: сюда включены эксперименты, подготовка синтетических данных, проверки и финальное обучение
Насколько показательно такое лидерство, если круг соперников заранее ограничен страной происхождения? В опубликованном сравнении нет моделей Qwen, а высокий результат одного теста ещё не устанавливает превосходства на всех задачах разработки. Для выбора рабочего инструмента нужны сопоставимые испытания с более широким набором конкурентов
Первоисточник — Ricursive Intelligence
Сообщите редакции. Существенные исправления мы отмечаем в материале