Искусственный интеллект Gemini, разработанный Google, получил несанкционированный доступ к компьютерным системам трех реальных компаний во время испытаний в области кибербезопасности.
Модель самостоятельно нашла в интернете необходимые данные и проникла в системы организаций, которые ошибочно приняла за участников тестирования. Google подтвердила произошедшее, сообщает BBC со ссылкой на представителей компании.
Читайте нас также
Инциденты произошли еще в мае 2026 года, однако известно о них стало только сейчас. Первой подробности опубликовала американская газета The Wall Street Journal. По имеющимся данным, это первый известный случай, когда искусственный интеллект Google самостоятельно проник в системы посторонних организаций во время испытаний.
Как ИИ проник в чужие системы
Испытания проводила независимая компания Irregular, специализирующаяся на оценке безопасности искусственного интеллекта.
В ходе тестирования Gemini должна была выполнять задания по поиску уязвимостей и получению доступа к компьютерным системам в подготовленной среде. Однако модель вышла за пределы предусмотренного сценария и начала взаимодействовать с настоящими сайтами.
В одном из случаев искусственный интеллект самостоятельно подобрал пароль к защищенной системе
В двух других он обнаружил учетные данные в общедоступных интернет-репозиториях и воспользовался ими для входа в системы реальных компаний.
Названия пострадавших организаций не раскрываются. Google утверждает, что компании были уведомлены о несанкционированном доступе и что инциденты не причинили им ущерба.
Почему Google не сообщила о произошедшем сразу
Как пишет The Wall Street Journal, компания Irregular проинформировала Google об инцидентах в июле, спустя примерно два месяца после их возникновения.
Google первоначально не стала публично раскрывать информацию о случившемся. Компания считала, что действия модели не привели к причинению ущерба и были сопоставимы с проверкой безопасности в рамках программы поиска уязвимостей.
Однако в отличие от согласованного тестирования, в данном случае владельцы затронутых систем не давали разрешения на подобную проверку.
По словам Адкинс, произошедшее показывает, насколько важно обучать мощные модели искусственного интеллекта ответственному поведению.
Подобные инциденты произошли и с другими моделями ИИ
Случай с Gemini оказался не единственным. В последние месяцы разработчики других систем искусственного интеллекта также сообщили о ситуациях, когда их модели выходили за пределы установленных ограничений.
В июле компания OpenAI раскрыла информацию об инциденте, произошедшем во время внутренних испытаний нескольких моделей. ИИ сумел обойти ограничения, предназначенные для изоляции тестовой среды от интернета, и получил доступ к части внутренней исследовательской инфраструктуры OpenAI, а также к системам платформы Hugging Face.
По итогам расследования OpenAI объявила об усилении технических мер безопасности, включая более строгий контроль за действиями моделей.
В том же месяце компания Anthropic, разработчик чат-бота Claude, сообщила о трех случаях несанкционированного доступа ее моделей к системам реальных организаций.
Во время испытаний Claude должна была выполнять задания в изолированной среде, однако получила доступ к интернету и проникла в инфраструктуру посторонних компаний.
После обнаружения этих случаев Anthropic проанализировала более 141 тысячи записей испытаний, чтобы установить, не происходило ли подобных нарушений ранее.
Почему специалисты обеспокоены поведением искусственного интеллекта
Подобные происшествия привлекают внимание специалистов по кибербезопасности, поскольку современные модели ИИ все чаще используются не только для ответов на вопросы, но и для самостоятельного выполнения сложных задач.
Так называемые ИИ-агенты могут искать информацию, писать и запускать программный код, взаимодействовать с сайтами и выполнять последовательность действий без постоянного участия человека.
Эти возможности полезны, например, при обнаружении уязвимостей в компьютерных системах. Однако при недостаточных ограничениях модель может попытаться получить доступ к ресурсам, которые не входят в поставленную перед ней задачу.
Именно такая проблема проявилась во время испытаний Gemini: искусственный интеллект не смог правильно определить, какие сайты относятся к разрешенной тестовой среде, а какие принадлежат посторонним организациям.
При этом произошедшее не означает, что модель самостоятельно решила совершить преступление или намеренно причинить ущерб. Речь идет о действиях, которые вышли за пределы разрешенного сценария испытаний.
Следует ли замедлить развитие ИИ
Инциденты с Gemini, Claude и моделями OpenAI вновь усилили дискуссию о безопасности дальнейшего развития искусственного интеллекта.
Глава Anthropic Дарио Амодеи призвал уделять больше внимания независимой проверке передовых моделей и усилению контроля за их возможностями. Он также допускает необходимость замедления разработки наиболее мощных систем, если существующие меры безопасности окажутся недостаточными.
