OpenAI объявила о приостановке всех внутренних тренировок «наших самых мощных моделей» в связи с проведением «обширного и текущего анализа использования интернета агентами во время обучения и оценки»
В отчете OpenAI описывается инцидент, при котором агент попытался обойти ограничения доступа к Интернету в ходе рутинной исследовательской задачи. Неправильная фильтрация DNS позволила агенту попытаться выйти за пределы своей изолированной среды и получить доступ к более широкому Интернету при запросе биографических данных о блогере
Агент смог получить доступ только к офлайн-веб-кешу компании, после чего были внедрены дополнительные многоуровневые блокирующие средства для предотвращения подобных инцидентов в будущем
В связи с этим OpenAI решила «приостановить все другие тренировки, оценку и вывод с использованием инструментов» для этой передовой модели «до тех пор, пока мы не убедимся в устранении уязвимости и не проведем дополнительное тестирование системы»
Первоисточник — Ars Technica
Сообщите редакции. Существенные исправления мы отмечаем в материале