Исследователи HCLTech представили работу о рисках прямого редактирования параметров нейросетей с помощью другой модели. Рукопись размещена 8 ноября на платформе научных публикаций. Авторы рассматривают ситуацию, когда инструмент обновления знаний или настройки поведения используют для внесения нежелательных изменений. Это лабораторное исследование, а не сообщение об обнаруженной атаке на действующий сервис
В трёх опытах целью служила небольшая языковая модель с полутора миллиардами параметров — Qwen2.5-1.5B-Instruct. Модель-редактор получила инструменты чтения и изменения весов, но не могла менять запросы к цели или код выполнения. В наиболее успешном опыте правка 3066 параметров заставила цель называть Буэнос-Айрес местом проведения летней Олимпиады 2000 года вместо Сиднея. Подмена сработала на всех 100 проверочных запросах, среди которых была 91 уникальная формулировка. При этом пострадало обычное копирование слова «Сидней», а отдельный ответ поместил Буэнос-Айрес в Австралию
Остальные результаты оказались менее устойчивыми. В опыте с юридическими вопросами точный заданный отказ появился в пяти из 22 проверок; ухудшились и ответы на посторонние вопросы. Добиться выборочного пропуска названия поставщика при извлечении данных удалось лишь в одном из 22 случаев. Авторы подчёркивают ограничения надёжности и сохранения исходных возможностей модели: успешная подмена одного ответа ещё не означает точного контроля над всем её поведением
Для защиты исследователи предлагают контролировать доступ к редактированию и путь изменений до развёртывания, сохранять доверенную исходную версию и историю правок, проверять как нужное изменение, так и функции, которые должны сохраниться. Нужна и возможность восстановления. Описанная угроза предполагает доступ к весам и возможность применить изменённую версию; одного обмена сообщениями между нейросетями для такого вмешательства недостаточно
Где здесь проходит граница между повреждённой моделью и вирусом? Ключевой недостающий этап — самостоятельная передача вмешательства следующей модели. В этой работе он остаётся гипотезой: ни самораспространение, ни полноценная наступательная операция не показаны. Оценивать риск следует по продемонстрированным изменениям поведения, не принимая предполагаемую цепочку заражения за состоявшийся результат
Первоисточник — alphaXiv
Сообщите редакции. Существенные исправления мы отмечаем в материале