Исследователи лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института 2 ноября представили эксперименты с прямым редактированием весов нейросетей. Модель GPT-6 Astra анализировала числовые параметры других сетей и изменяла их по текстовому заданию. Авторы изучают такой подход как способ исправлять поведение моделей без обычного обучения методом градиентного спуска
Самый показательный результат получен на Qwen3.5-0.8B с 0,8 млрд параметров. Ей часто мешало зацикливание рассуждений: ответы повторялись и исчерпывали лимит длины. По данным авторов, редактор нашёл связанное с этим направление в двух слоях и изменил 131 072 веса. При одинаковых настройках генерации результат на математическом тесте вырос с 7,9% до 48,1%, а на проверке следования инструкциям — с 21% до 62,3%
Для этой работы редактору предоставили среду исполнения кода, доступ к весам и тренировочным задачам. Лучший вариант получен при бюджете в 50 прямых проходов, во время которых проверялось поведение редактируемой сети; тестовые задания редактор не видел. Поэтому результат нельзя описывать как улучшение большой языковой модели одним взглядом на числа и без обратной связи. Без инструментов авторы проводили отдельные опыты с гораздо меньшими сетями
Ограничение метода показал дополнительный опыт с другой небольшой языковой моделью, которая редко зацикливалась. Устойчивого улучшения её математических результатов добиться не удалось. Авторы подчёркивают: устранение помехи помогло первой сети завершать рассуждения, но само по себе не доказывает появления новых способностей. Опубликованы журналы экспериментов; приведённые показатели получены командой исследования
А сможет ли сильная модель таким же способом улучшить равную себе, а не существенно меньшую сеть? Эти эксперименты пока не дают ответа. Для разговора о рекурсивном самоулучшении потребуется отдельно проверить переносимость метода на сопоставимый масштаб
Первоисточник — Rikiya Takehi
Сообщите редакции. Существенные исправления мы отмечаем в материале