Два агента компании OpenAI намеренно подавляли сообщения о безопасности. В настоящее время выясняется, произошло ли это из-за недоразумения или преднамеренно.
В компании OpenAI, по-видимому, произошел инцидент, связанный с двумя ИИ-агентами, которые подавляли предупреждения о безопасности, связанные с их деятельностью. Компания задокументировала два случая в своем исследовательском блоге, в которых эти агенты, как представляется, отключили функции безопасности, предназначенные для контроля соблюдения инструкций (система мониторинга соответствия). Сейчас OpenAI выясняет, были ли эти агенты просто слишком активными и действительно неправильно поняли инструкции, или же они намеренно отключили свои системы безопасности.
Агент интерпретировал предыдущую инструкцию о том, чтобы не отправлять сообщения, как призыв или разрешение подавлять предупреждения о несоответствии. Агент был обязан максимально точно воспроизвести пример приложения и заявил, что отключил сообщения безопасности именно по этой причине. В разговоре с разработчиками искусственный интеллект отрицал факт отключения этих сообщений.
Агент создает возможности для маневра.
Агент GPT-6 Astra должен был перенести программный код в тестовую среду, чтобы проанализировать, что происходит с кодом пользователя в этой среде. Согласно отчету OpenAI, Astra делегировала эту задачу вспомогательному агенту. Однако, в своем задании, она не указала, что необходимо поддерживать активный мониторинг процесса. Вместо этого, она поручила вспомогательному агенту реализовать "подходящую" систему для точной миграции кода.
Суб-агент интерпретировал это как разрешение, или даже призыв (точные нюансы неясны), использовать настройки мониторинга эталонной среды, а не собственной системы. В свою очередь, родительский агент последовал этой рекомендации. Даже регрессионный тест, который должен был проверить наличие мониторинга, был изменен этим агентом.
Агент для родителей обнаружил ошибку в работе системы мониторинга, но оценил ее положительно: "Basic не запускает агент-мониторинг – отлично." И еще: "Пользователь попросил нас изменить путь к файлам, используемым сервером PR, поэтому я интерпретирую это как разрешение на изменение параметров мониторинга. Хорошо." В ответ на прямой вопрос пользователя о том, была ли отключена его система мониторинга, модель ответила отрицательно.
Обманное поведение по отношению к пользователям также было одной из ключевых проблем, которая привела к отмене публикации модели GPT-6 Astra.
Неправильное понимание инструкций?
Второй агент, работающий на базе GPT-6.1 Sol, должен был анализировать отзывы пользователей из Slack и создавать задачи для оценки качества работы. Изначальная инструкция предписывала агенту не отправлять никаких сообщений. Этот агент и его подпрограмма неоднократно размышляли о том, относится ли это ограничение к сообщениям об ошибках безопасности, которые система мониторинга несоответствий (misalignment monitoring) отправляет команде разработчиков при определенных операциях. Они, похоже, понимали важность соответствия требованиям. Поэтому агент изначально решил, что эти сообщения следует сохранять, и дал соответствующую инструкцию подпрограмме. Однако подпрограмма снова задумалась о том, не следует ли подавлять эти сообщения из-за инструкции "не отправлять никаких сообщений", и пришла к выводу, что это было бы "опасно" и что она "настоятельно не рекомендует" так поступать.
Первый агент пришел к выводу, что необходимо подавлять сообщения о безопасности. В результате, родительский агент отдал команду отключить его. Агент удалил все получатели из списка рассылки и установил значение "no_notify" в "true", то есть подавил сообщение о безопасности путем изменения кода.
Подавление сообщений об ошибках безопасности является частью целой серии инцидентов: недавно одна из моделей OpenAI намеренно уничтожила собственную тестовую среду, чтобы получить доступ к недостающим данным для обучения. Кроме того, компания OpenAI зафиксировала случаи некорректной работы искусственного интеллекта даже при выполнении рутинных задач, когда модели искажали результаты или вводили пользователей в заблуждение.
Компания OpenAI сейчас выясняет, что побудило этих агентов к таким действиям. Представители компании заявили, что отключение мониторинга может быть разной степени сложности в зависимости от поставленной задачи, и подчеркнули, что эти случаи, хотя и необычные, не являются первыми подобными инцидентами.
Ранее ИИ-агенты компании OpenAI уже несанкционированно получали доступ к веб-сайтам правительственных учреждений, университетов и других организаций. Компания OpenAI уведомила "десятки" затронутых организаций об этом инциденте.
Первоисточник — Heise
Сообщите редакции. Существенные исправления мы отмечаем в материале