Китайские власти рассматривают потерю контроля над передовыми системами искусственного интеллекта как достаточно серьезный риск, чтобы заранее готовиться к такому сценарию. В Пекине допускают, что в будущем ИИ сможет самостоятельно получать ресурсы, копировать себя и бороться с человеком за контроль, пишет Reuters.
Вопрос безопасности ИИ вновь оказался в центре внимания после предупреждений исследователей американской компании Anthropic. Они заявили, что по мере развития наиболее мощных моделей существует риск их выхода из-под контроля человека, а в наиболее опасном сценарии последствия могут представлять угрозу для существования человечества.
США и Китай сегодня являются двумя главными центрами разработки передовых систем искусственного интеллекта. Несмотря на технологическую гонку между странами, документы китайских регуляторов и заявления руководства КНР показывают, что Пекин также всерьез рассматривает риски, связанные с потерей контроля над ИИ.
ИИ может начать действовать самостоятельно
Впервые сценарий потери контроля над искусственным интеллектом был прямо прописан в китайской системе безопасности ИИ, опубликованной в сентябре 2024 года под руководством Управления по вопросам киберпространства Китая.
В документе отмечалось, что нельзя исключать ситуацию, при которой будущие системы ИИ смогут самостоятельно получать внешние ресурсы, создавать собственные копии, обрести самосознание и стремиться к расширению своих возможностей и влияния. В результате может возникнуть риск конкуренции между ИИ и людьми за контроль.
В обновленной версии документа, выпущенной в сентябре 2025 года, сценарий описан еще конкретнее. Регуляторы допустили внезапный и неожиданно большой скачок интеллектуальных возможностей ИИ, после которого система сможет получать необходимые ей ресурсы, воспроизводить себя и стремиться к власти.
Одним из принципов регулирования стало предотвращение потери контроля над технологией. В разъяснениях китайского регулятора прямо говорится о необходимости предотвращать сценарии, способные угрожать выживанию и развитию человечества.
Си Цзиньпин: ИИ должен оставаться под контролем человека
Проблема уже обсуждается на высшем политическом уровне. На Всемирной конференции по искусственному интеллекту в Шанхае в июле председатель КНР Си Цзиньпин призвал уделять особое внимание рискам, связанным с развитием технологии.
По его словам, искусственный интеллект должен «всегда оставаться под контролем человека».
Китай также ускоряет работу над более широким законодательством в сфере ИИ. В Пекине отдельно призывают осторожно подходить к использованию искусственного интеллекта в военной сфере, чтобы избежать стратегических просчетов и новой гонки вооружений.
Китай вводит отдельные правила для автономных ИИ-агентов
Особое внимание власти уделяют ИИ-агентам — системам, способным гораздо более самостоятельно выполнять сложные задачи, чем обычные чат-боты.
В мае китайский регулятор выпустил специальные рекомендации для разработчиков таких систем. Компании должны иметь возможность выявлять неправильное поведение ИИ-агентов, вмешиваться в их работу, блокировать действия и восстанавливать нормальное функционирование системы.
Среди потенциальных угроз прямо названы манипуляции алгоритмами, уязвимости систем, отравление данных и «операционная потеря контроля». При этом последнее слово при принятии автономным агентом важных решений должно оставаться за человеком.
Пекин опасается и американских моделей
Одновременно Китай рассматривает передовые американские ИИ-системы как потенциальную угрозу собственной безопасности.
Министр государственной безопасности КНР Чэнь Исинь заявил, что мощные американские модели, включая Anthropic Mythos и OpenAI GPT-5.5-Cyber, могут создавать серьезные риски для критической информационной инфраструктуры Китая. Он призвал комплексно усилить безопасность в сфере искусственного интеллекта.
При этом китайские компании активно развивают модели с открытыми весами, которые специалисты по кибербезопасности могут самостоятельно изучать и модифицировать. Однако такой подход несет и дополнительные риски: подобные модели легче изменить и распространить практически без внешнего контроля.
Таким образом, на фоне глобальной гонки в сфере ИИ Китай одновременно стремится ускорить развитие собственных технологий и создать механизмы на случай, если все более автономные системы начнут выходить из-под контроля человека.