Google 9 ноября анонсировала две системы на базе тензорных ускорителей восьмого поколения: TPU 8tx и TPU 8i Max. Компания подчёркивает, что речь идёт о новых конфигурациях существующих чипов, памяти и соединений, а не о разработке нового кремния. Вместе с ранее представленными вариантами линейка теперь включает четыре системы для разных задач обучения и работы нейросетей
Защищённая конфигурация использует тот же чип, что и вариант для обучения, в паре с серверными процессорами AMD EPYC пятого поколения. По заявлению разработчика, аппаратная защита изолирует чувствительные данные и веса моделей даже во время обработки. Сеть с малой задержкой позволяет сократить задержку до двух раз относительно базовой системы для обучения. На той же инфраструктуре предлагается дообучать модели на закрытых данных, избегая их переноса между отдельными кластерами
В конфигурации для большого контекста два чипа объединены в одном корпусе. По данным компании, относительно обычного варианта для вывода это удваивает вычислительные возможности, объём статической памяти и пропускную способность высокоскоростной памяти. Решение рассчитано, в частности, на совместную работу ИИ-агентов с большими кодовыми базами или многочасовым видео. Заявленные преимущества описывает сама компания; независимых измерений новых систем в сообщении нет
А сколько будет стоить обработка токена и когда разработчик сможет получить доступ к этим конфигурациям? В анонсе нет цен и сроков их доступности. Без этих данных пока трудно оценить практическую выгоду новых систем и сопоставить её с альтернативами: удвоение вычислительных ресурсов само по себе не определяет стоимость выполненной задачи
Первоисточник — Google
Сообщите редакции. Существенные исправления мы отмечаем в материале