Anthropic 6 ноября опубликовала результаты испытаний памяти агентов. Компания проверяла фоновую обработку накопленных записей: сверку с журналами работы, исправление ошибок и создание связанных справочных страниц. Изменение весов нейросети в этот механизм не входит
На массиве примерно из 350 тысяч документов исследователи составили 25 вопросов. По внутренней оценке компании, поиск вместе с подготовленной базой знаний обеспечил выполнение 61% критериев против 53% у одного поиска. Но польза зависела от задачи: в другом испытании справочник оказался больше исходных документов, а в отдельных заданиях явного преимущества перед поиском не было
Остаётся принципиальный вопрос: прочитает ли агент сохранённое перед ответом? Само наличие записей этого не гарантирует. Компания отмечает, что одной из старых моделей требовалось явно напоминать о чтении памяти и проверке предположений. Оценивать такую систему следует по использованию проверенных сведений, а не по количеству накопленных заметок
Первоисточник — Anthropic
Сообщите редакции. Существенные исправления мы отмечаем в материале