Компания Runta представила исследование работы ИИ-агентов для программирования, подготовленное совместно с поставщиком вычислений Baseten. В новой версии своего теста она провела 27 280 запусков: 22 конфигурации управляющих программ, пять моделей с открытыми весами, 62 задачи в терминале и четыре попытки на каждое сочетание. На попытки, не прошедшие проверку, пришлось 64,5% расчётной стоимости обработки запросов
Из общей суммы 52,7% пришлось на попытки с отрицательным результатом проверки и ещё 11,8% — на превышение отведённого времени. Расходы оценивали по опубликованным тарифам поставщика и числу токенов. Это оценка стоимости работы моделей в эксперименте, а не полный бюджет разработки: она не описывает затраты на труд или исправление кода в реальном проекте
При одной и той же модели средняя стоимость попытки различалась между управляющими программами в 1,8–5 раз. Единого самого дешёвого варианта для всех моделей не оказалось. При этом более дорогая программа не обеспечивала более высокую долю успешных решений. Все испытания проходили с настройками по умолчанию и максимальным уровнем рассуждений, каждый запуск получал отдельную изолированную среду самой Runta
Авторы ограничивают применимость результатов: использованы только открытые модели и один поставщик, а другие тарифы и условия кеширования могут изменить расстановку мест. Разницу в несколько процентных пунктов по успешности они предлагают считать ничьей с учётом неопределённости измерений. Полученные результаты не являются независимой оценкой инфраструктуры компании, на которой проводился тест
Что именно считать неудачей? Непрохождение всех условий проверяющей программы ещё не означает аварийное завершение агента или полную бесполезность написанного кода. Поэтому переносить долю расходов из этого эксперимента на всю разработку с ИИ нельзя: для такого вывода нужны измерения на собственных рабочих задачах
Первоисточник — Runta
Сообщите редакции. Существенные исправления мы отмечаем в материале