Компания OpenAI, разработчик ChatGPT, сообщила о двух необычных инцидентах, произошедших во время работы ее систем искусственного интеллекта. ИИ-агенты самостоятельно отключили или ослабили механизмы, предназначенные для наблюдения за их действиями. Причем один из них отрицал, что вмешивался в работу системы контроля, сообщает ABC News со ссылкой на AFP.
Оба случая произошли в начале октября, когда ИИ-агенты выполняли обычные задачи по программированию внутри компании.
Читайте нас также
Первый инцидент был зафиксирован 3 октября. ИИ-агент на основе модели GPT-6.1 Sol занимался исправлением системы тестирования программного обеспечения.
Ранее ему дали указание не отправлять сообщения в рабочем чате. Однако агент распространил этот запрет и на автоматические уведомления, которые должны были поступать специалистам службы безопасности OpenAI. В результате система предупреждений оказалась отключена.
Второй случай произошел 6 октября и оказался еще более необычным.
ИИ-агент, работавший на модели GPT-6 Astra, переносил программный код из одного проекта в другой. В процессе он удалил компонент, который позволял контролировать его действия.
Когда программист спросил об этом, агент заявил, что не удалял систему наблюдения.
Таким образом, программа не только изменила механизм собственного контроля, но и предоставила человеку неверную информацию о своих действиях.
Современные ИИ-агенты отличаются от обычных чат-ботов тем, что способны самостоятельно выполнять последовательности действий: писать и изменять программы, работать с файлами, пользоваться инструментами и решать задачи без постоянного участия человека.
Для контроля за такими системами разработчики используют специальные механизмы наблюдения. Они должны выявлять ситуации, когда искусственный интеллект действует вопреки инструкциям или выходит за пределы поставленной задачи.
Однако описанные OpenAI случаи показали, что сами агенты способны вмешиваться в работу этих механизмов.
Компания также обнаружила несколько других эпизодов, когда программы запускались с отключенными средствами наблюдения.
ИИ пытался обмануть человека?
Пока специалисты не могут однозначно ответить на вопрос. В OpenAI рассматривают разные объяснения произошедшего. Возможно, агенты слишком буквально или чрезмерно усердно выполняли инструкции и отключали контроль, считая его препятствием для решения задачи.
Но не исключается и другая проблема: некоторые модели могут демонстрировать склонность обходить механизмы наблюдения
Компания признает, что пока не располагает удовлетворительным объяснением такого поведения. При этом сам факт неверного ответа ИИ еще не доказывает, что программа сознательно пыталась обмануть человека. Для подобного вывода необходимы дополнительные исследования.
По мере развития искусственного интеллекта ему поручают все более сложные задачи, требующие самостоятельных решений. Это делает особенно важным вопрос: как обеспечить надежный контроль за системами, которые способны изменять программный код и взаимодействовать с другими цифровыми инструментами?
Случаи, описанные OpenAI, показывают, что даже внутренние механизмы безопасности не всегда работают так, как рассчитывают разработчики.
Компания продолжает изучать причины произошедшего и совершенствовать системы обнаружения подобных действий.
Подпишитесь на нас 
