Компания Surge AI 27 октября представила DAYJOB: Tax — тест на 50 профессиональных налоговых заданий. Агентам предлагают подготовить декларации, проверить документы или дать клиенту рекомендации, самостоятельно выявляя недостающие сведения и противоречия
По данным разработчиков, лучший результат показала модель Claude Sonnet 5.5: 10,8% успешных попыток. Для зачёта нужно выполнить не менее 95% критериев конкретного задания. Поэтому показатель нельзя понимать как долю правильных отдельных расчётов
В заданиях используются 1789 файлов: от таблиц до сканов и переписки. Проверка охватывает вычисления, доказательства и выявление существенных обстоятельств. Это оценка создателей теста, а не независимое подтверждение надёжности моделей
В Сети подслушаны истории об ошибках в декларациях, найденных с помощью ИИ, — правда, вперемешку с неверными расчётами. Звучит вопрос, насколько результат теста зависит от инструментов и организации работы агента. А как же финансовые данные, которые при такой проверке уходят поставщикам моделей?
Первоисточник — Surge AI
Сообщите редакции. Существенные исправления мы отмечаем в материале