2024年3月1日，奇安信集团正式对外发布AI安全整体应对方案，包括AI安全框架，以及基于安全框架下的AI安全解决方案、AI评估服务和安全检测工具等。这是奇安信继去年发布QAX-GPT安全机器人、大模型卫士之后，在AI领域的又一次重要战略布局。它可以帮助企业看清AI安全全貌，提前洞察风险并采取应对措施，为中国企业抢占人工智能战略制高点筑牢安全底座。

随着AI技术在各领域的广泛应用，更多新的、更复杂的安全问题也逐渐凸显，尤其是大语言模型（LLM）的快速发展，带来了数据安全、模型安全，以及内容安全、AI伦理问题等各类风险。这些安全风险不仅影响AI技术的效果，还可能为用户和企业造成经济损失、声誉影响等。然而，目前业内还未形成成熟完善的解决方案及产品，大部分属于探索阶段。如何发现AI安全隐患，保护AI安全，已经成为国家及全行业当前亟待解决的问题。

奇安信此次发布的AI安全整体应对方案，包括了AI安全框架，以及基于安全框架下的AI安全解决方案、AI评估服务和安全检测工具等几个部分。

其中，AI安全框架的核心是在框架级别指导模型构建全生命周期的安全体系规划，以确保企业应用人工智能的安全性和可靠性。它定义了模型构建到运行的各个生命周期，分别为数据管理，扩展-微调，模型验证，扩展-RAG，模型部署，模型运行，以及各个阶段攻击者的技战术。而知识库则细化到框架中每个技战术的解读，攻击实例分析，关联技战术，以及具体的安全防护措施。

AI安全解决方案，是覆盖安全框架中模型生命周期的安全防护与检测方案，涵盖数据安全、模型风险检测与评估、模型应用全场景防护。它针对大模型训练、微调、验证、部署和运行过程模型安全属性不清等问题，通过对之前发布的大模型卫士和奇安天盾进行安全能力升级，再搭配本次发布的AI安全检测工具，形成覆盖全周期的安全检测与防护能力，让部署AI的企业做到合规情况心中有数，业务风险防患于未然。

而AI安全评估服务为企业在构建大模型时提前进行风险评估。它涵盖了提示词注入、不安全的输出处理、训练数据中毒、拒绝服务模型、供应链漏洞、敏感信息泄露、不安全的插件设计、过度代理、越狱、泄露回放、雪球攻击、目标劫持、幻觉问题、毒性生成、数据泄露、金丝雀词泄露及数据重构共17类大模型特有的风险评估检测项。

AI安全评估工具，作为一款专门针对大语言模型的安全检测评估系统，确保大模型在最后推向市场前进行一次安全“质检”。首先，模型开发企业使用该系统后，可在开发LLM相关的产品和服务时客观地进行风险识别，构建更加安全、可靠、稳定的大模型应用；其次，部分企业在选用开源大模型或者购买第三方大模型后，通过使用AI安全评估工具，可对模型安全进行有效评估，避免真正进入生产环境后出现各类安全问题。