Cerebras сообщила о запуске распределённой системы обработки запросов к моделям ИИ в своём облаке. В ней графические ускорители AMD Instinct подготавливают входной запрос, а системы Cerebras CS-3 формируют ответ. Ранее обе стадии выполнялись на устройствах CS-3
По замеру компании на работающем облачном сервисе, новая конфигурация обеспечила в пять раз больше токенов на мегаватт без снижения скорости их генерации. Сравнение проведено на общей точке доступа к модели GPT-OSS-120B 14 ноября; результат относится к указанной нагрузке и сравнению с прежней конфигурацией Cerebras
Партнёрам компания предлагает архитектуру для собственных центров обработки данных и программные средства для связи двух этапов. Ранний доступ уже получили Amazon Web Services, Fireworks AI, Gimlet Labs и General Compute. К концу 2027 года Cerebras планирует широко развернуть решение в своём облаке и у партнёров
Остаётся вопрос, как энергопотребление системы меняется при неполной загрузке. Число токенов на мегаватт в выбранном рабочем сценарии полезно для оценки мощности сервиса, но само по себе не описывает расход энергии в простое
Первоисточник — Cerebras
Сообщите редакции. Существенные исправления мы отмечаем в материале