ByteDance опубликовала исследование о системе хранения USDB, которую с 2024 года использует в TikTok, Douyin и связанных платформах прямых трансляций. Это описание работающей инфраструктуры, а не анонс нового общедоступного сервиса
Система объединяет хранение свежих действий пользователей и накопленных историй. Подготовленные данные повторно используются при обучении моделей и выдаче рекомендаций; узлы с разными задачами обращаются к общим файлам. Такой подход сокращает дублирование работы по обслуживанию хранилища
По данным авторов, после перехода средняя задержка записи снизилась на 85,8%, а средняя задержка чтения почти не изменилась. Отдельный расчёт при сопоставимой нагрузке показал сокращение инфраструктурных затрат на 42,1%. Это результаты собственного внедрения и расчётов исследователей, а не независимая проверка или обещание такой же экономии для любой компании
А насколько проще станет переход к новым рекомендательным моделям за пределами крупных платформ? Помимо хранения, остаются вопросы стоимости обучения и обработки запросов, рекомендаций для новых товаров и объяснимости результатов. Ускорение доступа к истории само по себе этих задач не решает
Первоисточник — arXiv
Сообщите редакции. Существенные исправления мы отмечаем в материале