扫码订阅《中国信息安全》

邮发代号 2-786

征订热线：010-82341063

文 | 上海人工智能实验室主任助理，领军科学家，教授 乔宇

《框架》遵循“以人为本、智能向善”的核心理念，强调人工智能技术研发和应用应服务于人类福祉，并确保其符合伦理道德规范，避免对社会造成负面影响。《框架》旨在明确各方主体安全要求，为规范人工智能产品研发和应用提供综合性治理和技术应对的指导，鼓励企业进行安全技术创新，通过技术和管理结合的措施防范化解风险。《框架》响应国际共识，强调推动全球合作应对挑战，构建共识性治理体系。

一是首次强调了内外兼治的范围与技管结合的原则。内外兼治表明其既关注人工智能技术的内生风险，也关注人工智能应用过程中的衍生风险；技管结合表明其主张通过技术手段和管理措施相结合的方式，综合治理人工智能安全风险。

二是明确了人工智能安全治理的原则、框架构成、风险分类、技术应对措施和综合治理措施，为后续制定更具体的标准和规范提供了顶层设计和指导原则。

三是针对模型算法研发者、服务提供者、重点领域使用者和社会公众用户，分别提出了安全开发应用指引，明确了各方在人工智能安全治理中的责任和义务。这有助于各方了解自身在人工智能安全治理中的角色和职责，并采取相应的措施来保障人工智能安全。

四是面向不同种类的人工智能安全风险，《框架》针对性指出了可以采取哪些技术手段进行应对，从而使得管理者从业务角度可以更好地针对风险，设定安全防范措施。

一是从管理者视角，明确了政府部门、行业协会等管理主体在人工智能安全治理中的责任和义务，例如制定相关法规政策、加强行业监管、开展宣传教育，促进政府部门、行业协会、企业、科研机构等多方参与、协同共治。也提供了若干管理工具的参考，包括实施人工智能应用分类分级管理、建立人工智能服务可追溯管理制度、完善人工智能数据安全和个人信息保护规范等综合治理措施。

二是从开发者视角，阐明了安全开发含义，如在需求分析、项目立项、模型设计开发、训练数据选用等关键环节，确保数据安全和个人信息保护，评估模型算法潜在偏见等。进而指导技术选型和合规发展，例如针对提高模型可解释性、加强数据安全保护、完善系统安全设计等。

三是从服务提供者视角，指出其应了解、检查和评估人工智能技术的能力边界和适用条件，确保责任链条的连续性，并以协议和告知等多种方式向用户提供足够的透明度。对于系统故障、安全事件等，具有及时处置的责任和向主管部门上报的义务。

四是特别强调了重点领域应用者视角，包括政府部门，关基等直接影响公共安全和民生的领域。在这些领域的应用者需要具备较强的安全意识与发现风险、处置风险的技术能力，需要对系统设置较严格的安全监督和审计机制。

五是从社会公众应用者的视角，《框架》普及了人工智能安全风险，帮助提高安全防范意识。并为不同类型用户提供了安全应用指引，如了解产品的功能和限制、鼓励应用者了解自身权益，帮助应用者安全、理性地使用人工智能技术。

《框架》内容丰富，具有以下特点：

一是具有全局性和系统性：《框架》涵盖了人工智能系统设计、研发、训练、测试、部署、使用到维护的全生命周期；对人工智能内生安全风险和应用安全风险进行了全面分析，包括模型算法安全风险、数据安全风险、系统安全风险、网络域安全风险、现实域安全风险、认知域安全风险和伦理域安全风险等；针对不同类型的安全风险，提出了技术应对措施和综合治理措施，包括安全软件开发、数据质量提升、安全建设运维、测评监测加固、应用分类分级管理、服务可追溯管理、数据安全和个人信息保护规范等。

二是具有可操作性和实用性：《框架》明确了模型算法研发者、服务提供者、用户、政府部门、行业协会、社会组织等各方在人工智能安全治理中的责任和义务，为各方提供了明确的行动指南；针对不同类型的安全风险，提出了具体的技术和管理应对措施，例如提高模型可解释性、加强数据安全保护、完善系统安全设计等，为相关主体提供了可操作的解决方案；《框架》不仅关注理论层面，更注重实际应用，为人工智能研发者、服务提供者、重点领域使用者和社会公众提供具体的安全指引，确保《框架》内容的实用性。

三是具有开放性和前瞻性：《框架》强调开放合作、共治共享，推动人工智能安全治理国际合作，共享最佳实践，密切关注人工智能技术发展趋势，并针对新技术、新应用可能带来的安全风险提出应对措施。

我们可以预见，《框架》的引入将迅速、有效地推动人工智能安全治理体系的构建，促进技术的健康发展，同时维护国家安全和社会公共利益，提升国内外在人工智能治理领域的合作与信任。

分享网络安全知识 强化网络安全意识

欢迎关注《中国信息安全》杂志官方抖音号

《中国信息安全》杂志倾力推荐

“企业成长计划”

点击下图 了解详情