Компания NetApp представляет Novus – архитектуру хранения данных, предназначенную для работы с объемами информации в зеттабайтах, оптимизированную для использования в системах искусственного интеллекта и для максимальной загрузки графических процессоров (GPU).
Содержание.
Компания NetApp представит на своей выставке в Лас-Вегасе новую архитектуру хранения данных под названием Novus, предназначенную для работы с объемами информации в петабайтах и эксабайтах. Эта технология должна повысить эффективность использования сотен тысяч графических процессоров (GPU) в центрах обработки данных, работающих на базе облачных технологий, крупных хостинговых провайдерах или компаниях, предоставляющих GPU как услугу.
Метаданные и данные должны храниться и обрабатываться отдельно.
Цель компании Novus – достижение этой задачи путем разделения уровней метаданных и данных. В то время как в классических системах хранения одни и те же контроллеры обрабатывают как многочисленные небольшие операции с метаданными, так и большие последовательные потоки данных, предлагаемое решение распределяет типы доступа между специализированными системами: разработанный Novus Data Director управляет метаданными, пространством имен и структурой данных на программно-определяемом уровне управления.
Сначала сервер с графическим процессором (GPU) запрашивает у Data Director информацию о местоположении файла и его структуре. Получив эту информацию, он напрямую обращается к узлам хранения данных в серверах ONTAP, что позволяет избежать передачи потока данных через уровень метаданных. Это обеспечивает возможность параллельной работы каналов управления и передачи данных, а также независимого масштабирования каждого из них.
Для обеспечения доступа клиентов компания NetApp использует протокол pNFS в версии NFSv4.2 вместо проприетарного решения. Таким образом, серверам Linux с графическими процессорами (GPU) не требуются специальные клиентские библиотеки. По словам компании NetApp, это должно упростить развертывание, обновление и проверку работы системы на большом количестве узлов, различных поколений GPU и в средах с множеством пользователей.
Масштабирование с использованием глобального пространства имен.
На первом этапе развития системы, узлы хранения данных основаны на адаптации платформы AFF A90, разработанной специально для Novus, с использованием контроллеров, оптимизированных по производительности, и специальных карт NVRAM. Основные компоненты твердотельных накопителей (SSD) в этих системах во многом схожи. Поэтому существующую стандартную систему A90 нельзя просто так переоборудовать под систему Novus.
Глобальное пространство имен позволяет адресовать файлы, наборы данных, контрольные точки и артефакты моделей независимо от их физического местоположения. При добавлении нового кластера ONTAP увеличивается доступная пропускная способность без необходимости перенастройки приложений или переноса данных в отдельные изолированные хранилища. Производительность метаданных, полоса пропускания и емкость могут быть увеличены отдельно. Серверы хранения данных работают в парах с высокой доступностью. Серверы метаданных организованы в избыточные группы по три экземпляра, что позволяет остальным экземплярам продолжать работу в случае отказа одного из них.
Архитектура должна обеспечивать совокупную пропускную способность более 100 терабайт в секунду. Указанная пропускная способность на данный момент является целевым показателем для архитектуры. Компания NetApp указывает, что объем данных, обрабатываемых каждой графической картой (GPU), может достигать 2 гигабайт в секунду, а система Novus должна поддерживать сотни тысяч GPU. Однако, независимо от количества используемых GPU, новая архитектура хранения данных должна оптимизировать их использование, как утверждает производитель.
Новая система Novus уже доступна для заказа и, как планируется, в долгосрочной перспективе будет развиваться в направлении более гибких решений, основанных на программном обеспечении. При этом предполагается сохранить существующую структуру имен, модель работы и базу данных.
Keystone Sovereign – решение для европейских клиентов.
Компания NetApp планирует предложить европейским клиентам более надежные гарантии в отношении контроля над данными с помощью решения Keystone Sovereign. Это включает в себя хранение важных данных клиентов, журналов, резервных копий и телеметрических данных в Европе, наличие службы поддержки и каналов эскалации, расположенных в Европе, централизованное управление процессами доступа и администрирования из Европы, четкую документацию по телеметрии, мониторингу и потокам данных, а также соответствующие договорные и правовые механизмы. Первые пилотные проекты Keystone Sovereign будут доступны в Германии и Франции; планируется расширение на другие страны.
Первоисточник — Heise
Сообщите редакции. Существенные исправления мы отмечаем в материале