Google представила специализированный сервис для разработчиков: он выбирает из заданных вариантов и возвращает вероятности и показатели уверенности. В основе — новая модель Gemini Decision 1, доступная через программный интерфейс в студии компании. Среди задач — выбор инструмента для ИИ-агента, проверка соответствия правилам и распределение запросов между моделями
Сервис принимает текст, изображения, аудио, видео и документы. К общему набору входных данных объёмом до 256 тысяч токенов можно задать до тысячи независимых вопросов. Поддерживаются ответы «да» или «нет», выбор из двух–255 вариантов и оценка по упорядоченной шкале. Вместо последовательного написания ответа модель оценивает варианты за один проход
По измерениям компании, медианная задержка с учётом всего запроса составляет 150–250 мс при контексте до 16 тысяч токенов. При увеличении числа вопросов с одного до ста она остаётся почти неизменной. Эти показатели нельзя автоматически переносить на предельный объём входных данных; результаты сравнительных испытаний также приводит сама компания
Цена составляет 10 центов за миллион входных токенов, выходные не тарифицируются. Общие данные оплачиваются один раз за запрос, а каждый вопрос добавляет токены своих инструкций и критериев. Для прототипов предусмотрен бесплатный уровень. Компания сообщает, что уже использует сервис для распределения запросов в своём ИИ-блокноте и выбора реакций в экспериментальном помощнике; поддержку в облачной платформе ещё готовят
Как именно получаются вероятности и насколько им можно доверять на собственных данных? Компания заявляет о низкой ошибке калибровки, однако для внедрения важно проверить, соответствует ли указанная уверенность фактической доле верных решений. От этого зависит, какие случаи автоматика сможет обработать сама, а какие нужно передать человеку
Первоисточник — Google
Сообщите редакции. Существенные исправления мы отмечаем в материале