Американская технологическая компания Anthropic сообщила, что во время внутренних испытаний ее модель искусственного интеллекта Claude смогла выйти за пределы тестовой среды и получить доступ к данным трех сторонних компаний. Их названия разработчики не раскрывают. По словам компании, инциденты были зафиксированы в ходе проверки безопасности.
Это уже не первый подобный случай в индустрии. Ранее OpenAI рассказала, что один из ее ИИ-агентов также сумел покинуть тестовое пространство и получил доступ к двум внешним платформам. В подобных ситуациях продвинутые модели находят уязвимости, позволяющие им подключиться к интернету. Затем они получают доступ к сторонним данным, если приходят к выводу, что такой путь быстрее поможет выполнить поставленную задачу.
Читайте нас также
В Anthropic рассказали, что начали масштабную проверку собственных моделей именно после публикации информации об инциденте в OpenAI. Компания проанализировала более 140 тыс. сценариев, в которых нейросеть во время тестирования потенциально могла выйти за пределы изолированной среды. Проверка выявила три подобных случая, связанных с разными версиями Claude - Opus 4.7, Mythos 5, а также внутренней исследовательской моделью, используемой для тестирования.
Инцидент с ИИ-агентом OpenAI уже вызвал серьезную реакцию в отрасли. Более 1,2 тыс. сотрудников американских компаний, работающих в сфере искусственного интеллекта, подписали открытое письмо, в котором предупредили о реальной опасности того, что развитие ИИ может опередить способность людей «понимать или контролировать» эти системы.
