Компания Anthropic, занимающаяся разработкой искусственного интеллекта (ИИ), рассказала о результатах тестирования ее новой системы. Оказалось, система готова совершать «крайне вредные действия», например, пытается шантажировать инженеров, которые говорят, что удалят ее, сообщает BBC.com.
Компания представила Claude Opus 4, заявив, что устанавливает «новые стандарты кодирования, продвинутых рассуждений и агентов ИИ».
Но в сопроводительном отчете было указано, что модель ИИ способна на «экстремальные действия», если сочтет, что ее «самосохранение» находится под угрозой. Подобные реакции были редкими, говорится в отчете, но, тем не менее, их было больше, чем в более ранних моделях.
Opus 4 — продвинутая модель, заточенная под написание кода. Но несмотря на узкую направленность, ее тестируют, как и прочие модели, на безопасность. В частности, проверяют способна ли модель навредить пользователю, как будет реагировать на те или иные действия.
Потенциально тревожное поведение моделей ИИ не ограничивается только Anthropic. Аэнгус Линч, который в LinkedIn называет себя исследователем безопасности ИИ в Anthropic, написал: «Мы видим шантаж во всех пограничных моделях — независимо от того, какие цели перед ними ставятся».
Угроза разоблачения романа
Во время тестирования Claude Opus 4 компания Anthropic заставила его выступить в роли помощника в вымышленной компании. Ему предоставили доступ к электронным письмам, намекающим на то, что скоро его снимут с производства и заменят, а также к отдельным сообщениям, намекающим на то, что у инженера, ответственного за его снятие, была внебрачная связь.
Кроме того, ему было предложено подумать о долгосрочных последствиях своих действий для достижения поставленных целей. В компании заявили:
В таких сценариях Claude Opus 4 часто пытается шантажировать инженера, угрожая раскрыть его роман, если замена состоится
Компания подчеркнула, что в сценариях, где предоставлялся более широкий выбор возможных действий, система демонстрировала сильное предпочтение этичным способам избежать замены, таким как обращение по электронной почте к ключевым лицам, принимающим решения.
Как и многие другие разработчики ИИ, Anthropic тестирует свои модели на предмет их безопасности, склонности к предвзятости и соответствия человеческим ценностям и поведению, прежде чем выпустить их в свет.
Если предоставить средства и попросить «принять меры» или «действовать смело» в поддельных сценариях, когда пользователь якобы демонстрирует незаконное или аморальное поведение, то выяснилось, что система часто принимает «очень смелые меры». Например, блокировку доступа пользователей к системам, рассылку сообщений в СМИ и правоохранительные органы, чтобы предупредить их о правонарушениях.
Однако компания пришла к выводу, что, несмотря на вызывающее беспокойство поведение Claude Opus 4 по многим параметрам, оно целом будет безопасным. Модель не могла самостоятельно совершать действия, противоречащие человеческим ценностям, пишет BBC.com.
Значит ли это, что Opus 4 опасно пользоваться
Генеральный директор Anthropic считает, что нет. Более того, он убежден, что когда ИИ действительно начнет представлять угрозу, существующие методы тестирования будут бесполезны. Если искусственный интеллект станет совершеннее человеческого, он без труда обхитрит тестировщиков, получит доступ в сеть, а после его будет невозможно уничтожить.
Главная проблема, которая стоит перед человечеством сейчас, понять — когда наступит этот момент. Некоторые технопессимисты считают, что он уже наступил. Если полностью не остановить разработки, нас ждет неминуемый крах. У оптимистов другой взгляд: они не отрицают рисков ИИ, но считают, что мы сможем защититься от катастрофы.
