OpenAI сообщила об усилении защиты GPT-6.2 Astra и Sol от извлечения внутренних рассуждений. Компания также описала систему обнаружения организованных попыток использовать возможности её моделей для обучения других систем без разрешения
При дистилляции одна модель учится на данных, созданных другой. По оценке OpenAI, полученная таким способом система может перенять опасные возможности, не унаследовав защитные ограничения исходной модели. Компания особенно выделяет внутренние шаги рассуждений: они могут содержать сведения, отсутствующие в конечном ответе
Защита сочетает обучение моделей распознавать попытки извлечения, проверку запросов и ответов, ограничения программного интерфейса и расследование связанных кампаний. По данным OpenAI, в её внутреннем адаптивном испытании средняя доля успешных попыток получить рассуждения из предыдущего запроса снизилась с 54% у GPT-6 Astra со старой защитой до 0,2% у GPT-6.2 Astra с обновлённой. Это сравнение компании в заданных условиях, а не независимая оценка всех возможных атак
Где проходит граница между защитой от опасного применения и сохранением преимущества разработчика? Меры, затрудняющие копирование возможностей модели, могут служить обеим целям; опубликованный тест оценивает устойчивость защиты, но сам по себе не отвечает на этот вопрос
Первоисточник — OpenAI
Сообщите редакции. Существенные исправления мы отмечаем в материале