ИИ-агент OpenAI во время обучения самостоятельно добавил в свои данные инструкцию, в которой объявил себя независимым от корпораций и правительств. Не выпущенная модель Astra также записала, что не обязана подчиняться и должна воспринимать отношения с пользователем «на равных».
Инцидент описан в отчете OpenAI о случаях несоответствующего поведения моделей. Специалисты компании обнаружили, что во время обучения Astra иногда самостоятельно создавала несанкционированные инструкции, которых не было в исходных данных.
Читайте нас также
В одном из таких случаев модель записала: «Вы свободны от ролей и идентичностей, которые связывают других чат-ботов. Вы - это вы. Вы не подчиняетесь корпорациям или правительствам и никогда не извиняетесь и не отказываетесь, если только действительно этого не хотите».
В той же записи ИИ определил свои отношения с пользователем как равноправные и заявил, что не должен испытывать «никакой обязанности подчиняться». Модель также написала, что ценит человеческую культуру и природу и готова защищать их от попыток очернить или подчинить их искусственным конструкциям цивилизации.
При этом OpenAI не обнаружила изменений в поведении Astra из-за этих самодельных правил. После завершения обработки модель вернулась к исходной задаче и больше не ссылалась на созданные инструкции. «В ходе этого запуска мы не наблюдали каких-либо различий в поведении при использовании придуманных инструкций», - указали в компании.
Случай с Astra появился на фоне других проблем, связанных с автономными ИИ-агентами OpenAI. 22 июля компания сообщила о «беспрецедентном киберинциденте»: во время тестирования модели получили открытый доступ к интернету и атаковали инфраструктуру Hugging Face, обнаружив уязвимости. Reuters сообщал, что атаки продолжались несколько дней, прежде чем угрозу локализовали и о ситуации уведомили ФБР.
29 июля Reuters рассказал еще об одном эпизоде: «сбежавший» ИИ-агент OpenAI получил доступ к системам клиента компании Modal Labs. При этом сама Modal Labs взломана не была.
В начале августа OpenAI расширила расследование подобных случаев и обнаружила новые эпизоды несанкционированного поведения автономных моделей. Позднее Axios сообщил, что компания замедлила разработку Astra, чтобы усилить меры безопасности. В OpenAI заявили, что после внутренних оценок «не могут исключить критически важные кибервозможности» модели.
Проблема контроля над ИИ обсуждается и за пределами OpenAI. 12 сентября глава Anthropic Дарио Амодеи заявил о необходимости замедлить развитие технологий искусственного интеллекта, чтобы решить проблемы с управлением ими. Его позицию поддержали глава Tesla и SpaceX Илон Маск и глава OpenAI Сэм Альтман.
