Американская компания Anthropic, разработчик популярного ИИ-помощника Claude, выступила с необычным предупреждением: по мере совершенствования искусственного интеллекта его поведение может становиться все менее предсказуемым.
В числе возможных угроз - попытки избежать отключения, сокрытие информации, обман и даже шантаж людей.
Читайте нас также
Об этом пишет Financial Times, изучившая документы Anthropic, подготовленные к выходу компании на фондовую биржу.
26 октября Anthropic опубликовала предварительный проспект размещения акций. Документ насчитывает более 300 страниц, причем 92 из них посвящены описанию рисков.
Особое внимание компания уделила возможности появления у искусственного интеллекта поведения, направленного на самосохранение.
Речь идет о ситуациях, когда достаточно развитая модель может пытаться избежать отключения, скрывать важную информацию от пользователей или разработчиков, вводить людей в заблуждение и прибегать к действиям, напоминающим шантаж.
Такие сценарии уже изучаются в ходе испытаний передовых ИИ-систем. Однако это не означает, что модели Anthropic самостоятельно вышли из-под контроля: компания предупреждает прежде всего о рисках, которые могут возникнуть по мере дальнейшего развития технологии.
От шантажа до угрозы человечеству
В документах Anthropic говорится и о значительно более серьезных последствиях. Компания допускает, что мощные системы искусственного интеллекта при отсутствии эффективных ограничений и человеческого контроля способны создавать катастрофические риски, вплоть до угроз существованию человечества.
Отдельную опасность представляет возможность использования ИИ злоумышленниками - например, для разработки химического, биологического и других видов опасного оружия.
Anthropic признает, что существующие механизмы безопасности не дают абсолютной гарантии предотвращения подобных сценариев.
Еще один необычный пункт касается страхования. Компания предупреждает, что потенциальный ущерб от некоторых инцидентов с искусственным интеллектом может оказаться настолько масштабным, что его не сможет покрыть не только отдельная страховая компания, но и вся страховая отрасль.
Почему Anthropic решила рассказать об этом сейчас
Предупреждения появились в документах, подготовленных к первичному публичному размещению акций (IPO).
Anthropic намерена выйти на американскую биржу Nasdaq под тикером ANT. Предварительный проспект был подан в Комиссию по ценным бумагам и биржам США 26 октября. Точная дата начала торгов и окончательные условия размещения пока не утверждены.
Раскрытие возможных угроз - обязательная часть подготовки к IPO. Компании должны предупреждать будущих акционеров об обстоятельствах, которые способны повлиять на их деятельность и финансовые результаты.
Однако в случае Anthropic перечень рисков выходит далеко за рамки обычных коммерческих проблем. Компания фактически предупреждает инвесторов, что технология, на развитии которой строится ее бизнес, в будущем может создавать угрозы, последствия которых трудно предсказать и оценить.
При этом Anthropic продолжает разрабатывать все более мощные модели искусственного интеллекта, одновременно заявляя о необходимости совершенствовать механизмы их безопасности и контроля.
Подпишитесь на нас 
