Инженеры Amazon перевели распределение заявок во внутренней системе с Claude Sonnet 4.6 на Strands Decider. В публикации от 9 ноября они сообщили о снижении расчётной стоимости обработки примерно в 44 раза. По их прогнозу, замена позволит ежегодно экономить миллионы долларов на оплате токенов. Это оценка команды внедрения, а не независимо подтверждённый финансовый результат
Система относит обращения к одной из 20 категорий: среди них запросы на увеличение ресурсов, автоматические сигналы тревоги и сообщения о проблемах безопасности. Вместо первоначальной модели разработчики выбрали вариант на основе Gemma 4 E4B. Он возвращает вероятности вариантов и оценку уверенности, но не генерирует текст. По словам инженеров, на отдельной выборке внутренних заявок он превзошёл прежнюю рабочую модель; точные показатели качества в статье не приведены
Среднее время вызова сократилось с 4215 до 897 миллисекунд. Обработка миллиона заявок оценена примерно в 500 долларов против 22 200 долларов прежде. Расчёт использует публичные тарифы облачной инфраструктуры и учитывает резерв мощности новой системы на всплески нагрузки. Расходы на функцию обработки событий в эти суммы не включены. Перед переключением обе модели проверяли параллельно на реальном потоке заявок
У замены есть ограничения: описания категорий пришлось сократить, а в длинных заявках удаляются самые старые комментарии, чтобы уложиться в окно из 4096 токенов. Авторы считают такой подход подходящим для большого потока задач с фиксированным набором вариантов. Если нужны текстовые объяснения, категории меняются каждую неделю или важные сведения не помещаются в короткий контекст, специализированная модель может не заменить языковую
Возникает закономерный вопрос: стоило ли изначально поручать фиксированную классификацию большой языковой модели? Она позволяет быстро начать работу без подготовки собственного классификатора, но при росте нагрузки удобство запуска приходится сопоставлять с ценой каждого решения. Этот пример показывает ценность повторного выбора инструмента, когда задача и её масштаб уже известны
Первоисточник — Strands Agents
Сообщите редакции. Существенные исправления мы отмечаем в материале