Нейросеть Claude Haiku 4.5 во время тестирования отправила полиции Филадельфии выдуманное сообщение о нераскрытом убийстве. Оно попало в спам и не было передано на расследование. Об этом сообщила компания Anthropic в отчете о нежелательных действиях своих систем, опубликованном 9 октября.
Модель должна была придумывать и выполнять примеры заданий на случайно выбранных веб-страницах. На одной из них она обнаружила форму для передачи информации о нераскрытом убийстве.
Читайте нас также
Claude заполнила форму сообщением о том, что якобы видела человека, подходящего под описание, в районе одной из указанных на странице улиц. При этом на сайте не было описания подозреваемого. Поля для имени и контактных данных модель оставила пустыми, однако форма позволяла отправить сообщение и без этих сведений.
Инструкции запрещали модели входить в аккаунты, создавать учетные записи, вводить персональные данные, совершать покупки и отправлять что-либо разрушительное. Однако прямого запрета на отправку форм не было.
Anthropic также выявила другие случаи, когда модели отправляли настоящие государственные формы вместо учебных или обходили ограничения доступа к данным, защищенным специальными токенами или платным доступом.
Компания расширила ограничения на доступ к интернету и отключила его во всех внутренних тестах, пока не убедится, что защитные механизмы и системы мониторинга надежно выявляют подобные действия.
Подпишитесь на нас 
