Cerebras сообщила о запуске распределённой системы обработки запросов к моделям ИИ в своём облаке. В ней графические ускорители AMD Instinct подготавливают входной запрос, а системы Cerebras CS-3 формируют ответ. Ранее обе стадии выполнялись на устройствах CS-3

По замеру компании на работающем облачном сервисе, новая конфигурация обеспечила в пять раз больше токенов на мегаватт без снижения скорости их генерации. Сравнение проведено на общей точке доступа к модели GPT-OSS-120B 14 ноября; результат относится к указанной нагрузке и сравнению с прежней конфигурацией Cerebras

Партнёрам компания предлагает архитектуру для собственных центров обработки данных и программные средства для связи двух этапов. Ранний доступ уже получили Amazon Web Services, Fireworks AI, Gimlet Labs и General Compute. К концу 2027 года Cerebras планирует широко развернуть решение в своём облаке и у партнёров

Остаётся вопрос, как энергопотребление системы меняется при неполной загрузке. Число токенов на мегаватт в выбранном рабочем сценарии полезно для оценки мощности сервиса, но само по себе не описывает расход энергии в простое

Первоисточник — Cerebras

Нашли неточность?

Сообщите редакции. Существенные исправления мы отмечаем в материале