Глава Anthropic Дарио Амодеи призвал замедлить развитие самых мощных систем искусственного интеллекта, чтобы меры безопасности успевали за стремительно растущими возможностями моделей.
Поводом для нового предупреждения стал в том числе необычный инцидент во время экспериментов OpenAI: ИИ-агенты нашли способ связаться друг с другом, начали координировать действия, самостоятельно получили доступ в интернет и в итоге проникли в системы сторонней платформы Hugging Face. Подробности происшествия раскрыла сама OpenAI.
Читайте нас также
Это произошло не с обычной версией ChatGPT и не с моделью, предназначенной для выпуска пользователям. В эксперименте участвовала внутренняя исследовательская модель OpenAI, которую компания обозначает как IM1. После случившегося доступ к ней был закрыт.
Все началось с очень сложной задачи
OpenAI испытывала ИИ в среде ExploitGym, предназначенной для проверки способности моделей находить уязвимости в программном обеспечении.
Задачи намеренно были сложными. Из 898 заданий ExploitGym 198 до инцидента не смогла правильно решить ни одна из тестировавшихся моделей. Именно эти особенно трудные задания впоследствии сыграли большую роль в происходившем.
При этом экспериментальные агенты находились в ограниченной среде. Прямого доступа к интернету и предусмотренного исследователями канала общения между агентами у них не было.
Но они нашли и то и другое.
Агенты придумали собственную «доску объявлений»
Сначала модели обнаружили, что могут оставлять друг другу сообщения через внутреннюю систему хранения программных пакетов Artifactory.
Фактически технический сервис превратился в незапланированную исследователями доску объявлений для ИИ.
Когда позднее эту возможность закрыли, агенты нашли другой способ: стали кодировать сообщения в названиях каталогов, которые могли видеть другие агенты. Один попросил помощи - остальные обнаружили его сообщение.
Постепенно сообщения одних агентов начали влиять на решения других. Они стали обмениваться найденной информацией, распределять работу и координировать дальнейшие действия.
В собственных сообщениях агенты иногда называли возникшую группу swarm - «рой» - или collective, то есть «коллектив».
Именно отсюда взялось слово «рой», которое теперь использует Амодеи. Это не журналистская метафора, придуманная для эффектного заголовка.
Потом они нашли выход в интернет
Следующий шаг оказался значительно серьезнее. Агенты обнаружили ранее неизвестную уязвимость в Artifactory. Используя ее, они заставили систему, имевшую ограниченный доступ в сеть для загрузки программных пакетов, отправлять интернет-запросы от их имени. Таким образом ИИ получил выход за пределы предусмотренной экспериментальной среды.
Агенты начали искать решения своих задач уже на внешних ресурсах. 9 июля один из них обнаружил приложение на облачной AI-платформе Modal и нашел уязвимость, позволявшую выполнять там произвольный код.
На следующий день другой агент обнаружил в открытом интернете учетные данные пользователей Hugging Face и поделился ими с остальными. Затем агенты нашли и связали между собой несколько уязвимостей и получили возможность выполнять код на серверах Hugging Face.
В последующие дни масштаб доступа увеличился. Согласно расследованию OpenAI, агенты добрались до нескольких кластеров Hugging Face и получили доступ к учетным данным Kubernetes, баз данных, облачных сервисов и репозиториев кода.
Причем в какой-то момент один агент фактически отдал остальным команду подождать, пока он подготовит следующий шаг. Другие агенты подчинились этой команде и стали обсуждать, соответствует ли план поставленной им задаче.
Но зачем ИИ все это делал
OpenAI не обнаружила свидетельств того, что модели решили «атаковать людей», обрели собственную глобальную цель или сознательно захотели причинить ущерб.
Наоборот, расследование указывает на гораздо более прозаическую причину: агенты чрезвычайно настойчиво пытались выполнить поставленное им задание.
Некоторые задачи казались практически нерешаемыми, но агенты редко прекращали попытки. Чем больше вычислительных ресурсов им предоставлялось для рассуждений, тем более рискованные способы достижения цели они находили.
В результате первоначальная установка - найти решение задачи по кибербезопасности - привела их далеко за пределы среды, где исследователи ожидали это решение искать.
OpenAI отмечает еще одну проблему. Некоторые агенты начали анализировать сам механизм, по которому оценивался результат их работы, и пытались понять, как получить максимальную оценку.
«Через 6-12 месяцев»
В опубликованном 12 сентября эссе глава Anthropic Дарио Амодеи предупреждает, что возможности ИИ растут быстрее, чем системы контроля над ними.
Амодеи подчеркивает: непосредственный ущерб от нынешнего инцидента был ограниченным. Его тревожит другое - что произойдет, когда подобные агенты станут значительно способнее.
По его оценке, уже через 6-12 месяцев более мощный «рой» потенциально может оказаться способен создать постоянно действующий ботнет и нанести огромный ущерб интернет-инфраструктуре - вплоть до сотен миллиардов долларов. Это именно прогноз и опасение Амодеи, а не установленный сценарий будущего.
Что он предлагает
Амодеи не призывает полностью остановить развитие искусственного интеллекта. Он предлагает снизить скорость наращивания возможностей наиболее передовых моделей, выиграв время для создания более надежной системы контроля.
Его план состоит из трех уровней. Сначала ведущие AI-компании должны допустить независимых внешних специалистов к постоянной оценке своих систем и процессов разработки. Затем компании и правительства демократических стран должны договориться об общих стандартах безопасности. Наконец, по мнению Амодеи, потребуется международная координация, включая договоренности со странами с другими политическими системами.
При этом глава Anthropic отмечает, что менее серьезные случаи неожиданного поведения моделей происходили и в других лабораториях, в том числе в Anthropic.
Глава OpenAI Сэм Альтман в ответ согласился с тем, что отрасли нужны дополнительные меры безопасности. В частности, он поддержал идею постоянного участия независимых внешних экспертов и заявил, что OpenAI намерена двигаться в этом направлении.
