Лаборатория Thinking Machines Lab 5 ноября представила второе поколение своих нейросетей, начав с Inkling 2 Small. Модель уже можно попробовать на платформе разработчика: доступны получение ответов и дообучение. Пока веса закрыты; их публикацию под свободной лицензией планируют на следующей неделе после завершения внешнего тестирования безопасности и попыток обойти защиту
Нейросеть построена по принципу смеси экспертов: всего у неё 594 млрд параметров, из которых при обработке каждого токена активны 17 млрд. Она принимает изображения и позволяет менять объём усилий, затрачиваемых на рассуждения. Звук не поддерживается. Среди заявленных направлений работы — программирование, анализ документов и длительные автономные задачи
Разработчик показывает примеры создания сайтов, игр и трёхмерных сцен с проверкой промежуточного результата по изображениям. При этом лаборатория признаёт ограничения: модель бывает многословной, не всегда удачно выбирает инструменты и хуже приспособлена для обычного чата. Демонстрации компании сами по себе не подтверждают стабильность такой работы на произвольных задачах
Остаётся практический вопрос: насколько удобной окажется самостоятельная эксплуатация модели с 594 млрд параметров? Небольшое число активных параметров описывает работу смеси экспертов, но не отменяет полного размера нейросети. Будущее открытие весов и доступность запуска на собственном оборудовании — разные стороны этого анонса
Первоисточник — Thinking Machines Lab
Сообщите редакции. Существенные исправления мы отмечаем в материале