Thinking Machines Lab выпустила локальную модель Inkling 2 Mini с циклической архитектурой
Модель с открытыми весами занимает около 20 ГБ памяти и трижды пропускает данные через средние слои при обработке каждого токена. Компания также открыла исследовательскую версию с переменным числом проходов
Читать