Исследователи предоставили языковой модели Qwen3.5 доступ к её весам, оценённым ответам и инструментам для запуска самой себя. В эксперименте версия с 27 млрд параметров предложила изменения весов без обычного обучения с градиентами. По данным авторов, одна из правок повысила точность на 6,6 процентного пункта на наборе из 490 ранее не виденных задач

Модель проверяла варианты на тренировочных примерах и отказывалась от неподходящих правок. Из восьми последовательных сеансов она внесла изменения в трёх, а в остальных пяти оставила прежние веса. Наибольший прирост был связан с одной одинаковой поправкой в слоях внимания: после неё ответы реже упирались в ограничение длины

В отдельном испытании модель нашла повреждённую матрицу весов в своей копии и исправила её, не получая исходные неповреждённые значения. Авторы сообщают, что на новых задачах с изображениями восстановленная копия вернула более 80% исходной точности. При проверке моделей того же семейства меньшего размера улучшения собственных весов не получили

Насколько результат переносится на другие задачи и модели? Испытание показывает возможность полезной правки в заданных условиях, но сокращение числа ответов, прерванных из-за ограничения длины, само по себе ещё не доказывает общего роста способностей

Первоисточник — arXiv

Нашли неточность?

Сообщите редакции. Существенные исправления мы отмечаем в материале