不健全的安全架构以及不充分的威胁建模难以有效提高人工智能技术安全性，未被考虑的攻击面仍会被利用，导致已有的安全工作出现纰漏。《框架》密切跟踪人工智能在设计、研发、训练、测试、部署、使用、维护等生命周期各环节所面临的安全风险，从技术根源出发，将各类安全风险梳理为模型算法风险、数据安全风险和系统安全风险，帮助从业者深入理解风险来源并构建全面安全防线。针对模型算法风险，《框架》指出，人工智能算法内部运行逻辑复杂，推理过程透明性差且鲁棒性弱，容易遭受各种类型攻击的影响，需要不断提高人工智能的可解释性、可预测性，同时要建立并实施安全开发规范，提高鲁棒性，消除安全缺陷、歧视性倾向。针对数据安全风险，《框架》指出，人工智能技术在数据收集、使用和保护方面尚不成熟，容易出现违规使用、数据泄露、数据投毒等问题，需要规定人工智能在使用数据时，保护个人信息、保护版权，并确保使用的数据经过严格筛选且真实客观。针对系统安全风险，《框架》指出，人工智能系统应用处于初步发展阶段，存在诸多缺陷和漏洞，容易遭受攻击，需要明晰标识输出内容，加强人工智能聚合平台的风险识别、检测、防护建设。

不可靠的模型安全测评与不规范的智能服务管理，会将人工智能技术对国家社会带来的有益增长转变为潜在隐患。《框架》重视人工智能技术误用、滥用甚至恶意利用带来的风险。一是网络域安全风险，人工智能的推广可能带来虚假信息传播、歧视偏见、版权纠纷、信息泄露等安全问题。《框架》提出要建立安全防护机制和数据护栏，防止模型被干扰篡改，确保输出安全合规。二是现实域安全风险，人工智能可能由于自身的错误决策或被恶意利用而造成重大损失，对社会产生危害。因此，《框架》指出了需要划定人工智能应用的服务范围，并追溯人工智能系统的最终用途。三是认知域安全风险，人工智能所具备的信息生成、推送、传播功能有被用于危害社会认知、左右公众价值观的巨大威胁。《框架》明确了应当落实对人工智能输出结果的安全评估，推进人工智能生成合成内容检测的方法实践，严格防范人工智能对用户信息过度分析挖掘的技术滥用。四是伦理域风险，人工智能的发展会改变生产工具和生产关系，影响传统社会秩序的稳定运行，并可能加剧社会分裂。《框架》指出，应在服务过程中积极采取数据筛选、输出校验等技术方式，加强对人工智能中的歧视与偏见的监管，提高重要领域的人工智能系统应急管控的高效性与精准性。

围绕人工智能研发应用生态链，明确相关主体的安全责任，坚持共同、合作、可持续的安全观，保持包容开放的态度，是共同构建安全且可持续的人工智能产业生态体系，实现创新与治理并行推进的必由之路。

（来源：全国网安标委）

分享网络安全知识 强化网络安全意识

欢迎关注《中国信息安全》杂志官方抖音号

《中国信息安全》杂志倾力推荐

“企业成长计划”