Исследователи представили Memorilla — систему, которая позволяет языковой модели использовать накопленные документы через компактную память. Работа впервые опубликована 15 октября, последняя версия датирована 3 ноября. Вместо вставки найденных фрагментов текста система передаёт в модель специальные векторные представления: в основных испытаниях для этого хватило 16 токенов памяти
Документы заранее преобразуются в числовые представления и сохраняются. Затем обучаемый модуль обращается ко всей коллекции и формирует память под конкретный вопрос. Веса основной языковой модели остаются неизменными. Эксперименты проводили с Qwen3-8B; переносимость подхода на другие семейства моделей ещё предстоит проверить
По данным авторов, в тесте проверки утверждений FactKG точность достигла 84,33% против 80,43% при подаче полного контекста. Для представления исходных документов понадобилось в 108 раз меньше токенов. Это сравнение касается именно документной части входа, а не всего запроса или общего объёма хранимых данных. Результаты получены в исследовательских испытаниях и не означают такого же выигрыша в любой задаче
Остаётся вопрос: насколько полезна такая память, когда нужно восстановить точное имя или формулировку? Сохранить смысл и воспроизвести исходный текст — разные задачи. Авторы признают потерю мелких фактических деталей; компактную память поэтому нельзя считать полноценной заменой доступа к оригиналам
Первоисточник — arXiv
Сообщите редакции. Существенные исправления мы отмечаем в материале