RSA Conference(RSAC)是全球网络安全领域的重要年度盛事,自1991年创立以来,一直是信息安全专业人士交流最新理念、分享创新研究成果、以及深入讨论行业发展趋势的顶尖论坛。在此次盛会上,Stephen Sims和Erik Van Buggenhout提出了“紫队流程自动化”的理念,倡导利用持续集成/持续部署(CI/CD)的实践,以提升检测工程的自动化水平。
本文将深入探讨在提升检测工程能力的过程中,紫队如何利用人工智能技术发挥关键作用,以推动自动化攻击模拟向更高水平发展。
一
什么是紫队?
图1 紫队概念
在网络安全领域,紫队(Purple Teaming)是一种融合了攻击性(红队)和防御性(蓝队)网络安全专业人员的实践,旨在通过模拟攻防活动来增强组织的网络安全防护能力。紫队分为三个层级,每个层级都代表了不同实践的深度和广度:
Level 1(初级阶段)
在这一阶段,蓝队成员开始参与红队的活动,提供反馈。这一阶段的特点是小规模的协作,蓝队成员通过观察红队的攻击流程,对防御策略进行反馈。这种互动有助于红队评估其攻击策略的有效性,并为蓝队提供优化防御措施。
Level 2(中级阶段)
进入第二阶段,紫队变得更加正式和系统化。此时,紫队活动开始采用如VECTR(威胁建模和模拟工具)和BAS(行为攻击模拟工具)等专业工具来模拟攻击。这些工具的使用显著提升了紫队的效率和效果,使得团队能够在没有真人红队参与的情况下,也能进行高效的模拟攻击。
Level 3(高级阶段)
在最高层次,紫队的活动是持续进行的,结合了自动化工具和通用人工智能AI技术。在这一阶段,紫队的活动不再局限于一次性的测试,而是一个持续性的过程。自动化工具和AI模型被用于测试和优化检测逻辑,以适应新的威胁并持续提升组织的防御能力。
紫队的核心价值在于通过持续性的攻防模拟,促进组织对安全防御的深入理解和持续改进,从而提高整体的网络安全防护水平。
图2 漏洞攻击模拟( BAS )
二
紫队架构 v1.0
紫队架构v1.0是一个全面的框架,它包括了从基础设施到检测源,再到SIEM(安全信息和事件管理)和 SOAR(安全自动化编排与响应系统)的多个组件。在这个架构的基础设施层面,需要收集来自各种端点和网络层的数据,这些数据被送入SIEM系统,进行初步的分析和过滤。SIEM系统是检测工程的核心,它负责收集和管理日志事件。SOAR平台则负责自动化执行紫队的活动,具体来说是使用预定义的剧本(playbooks)来响应安全事件,执行TTPs,并且可以与BAS工具集成,自动化执行模拟攻击。该流程如图3所示。
图3 紫队架构v1.0 流程
图4 SOAR仪表盘
三
当前问题与未来愿景
虽然自动化工具可以执行TTP,但规则检测仍然存在漏测误测的问题,如图5当中,T003.001未被检测到,即便是使用SIGMA规则将T003.001转换为KQL查询,再重新进行部署检测,结果发现还是未被检测。在这一过程中,检测规则的开发和改进仍然需要大量的手动工作,即使是自动生成的检测规则也可能会导致较高的误报率,仍需要手动微调和验证。那么应该如何改进这一策略,既能减少人力资源的投入还能提高规则检测的效率呢?
图5 T1003.001检测失败
四
紫队架构 v2.0
紫队架构v2.0提出了构建自动化紫队的流程,实现自动化紫队需要遵循一系列的步骤:
1. 创建Caldera,在Caldera上集成和运行多样化的TTPs
2. 通过安全编排、自动化和响应(SOAR)平台,我们能够高效地运行Caldera框架中预先定义的攻击手段(TTPs)
3. 利用SOAR审查检测结果,这一步骤至关重要,因为它能帮助我们识别哪些模拟攻击被成功检测到,哪些则未被识别,从而评估现有安全措施的有效性
图6 审查SOAR的检测结果
4. 对于检测结果中未能成功识别的攻击手段,可以借助大型语言模型(LLM)进行深入的检测分析
图7 运用LLM进行深入分析
5. ChatGPT进行检测验证
图8 ChatGPT进行检测验证
在之前规则生成以及检测都需要人力进行多次调试以及验证,而紫队V2.0架构集成了大语言模型来进行自动化构建,例如可以使用ChatGPT为上述问题中的T1003.001检测创建一个KQL查询规则,由ChatGPT进行第一次检测结果的分析,当检测失败时,ChatGPT将会给出新的检测规则以及修复方案,最后将该新的规则以及修复方案一并输入到ChatGPT中进行第二次分析评判。这样,T1003.001便可在自动化的流程中被正常检测,不仅可以提高效率也能降低人力校准规则所产生的误报率。
通过上述步骤得出,规则的开发不再需要大量的人力才能完成,可以由大语言模型来生成以及检测规则的判断结果,这也是紫队v2.0架构的核心,它以构建自动化管道的逻辑集成了LLM,以生成和部署检测规则,从威胁情报报告的分析到检测规则的生成都是一个全自动化的工作流程。在这个架构下,LLM的功能不仅限于分析威胁情报报告,更能够精准提取MITRE ATT&CK框架中的相关攻击技术,并据此生成具体的检测规则。这些规则之后被自动部署到安全信息和事件管理(SIEM)系统中,并通过安全编排、自动化和响应(SOAR)仪表板进行可视化展示。通过LLM的深度集成,紫队v2.0架构在网络安全领域提供了一种创新的解决方案,强化了对复杂威胁的检测能力,为构建更为智能和自动化的网络安全防护体系奠定了基础。
五
AI是否还能为其增强检测能力?
1、使用检索增强生成(RAG)来增强大模型的能力,例如使用RAG技术可以让模型学习SIGMA规则并理解Caldera API。
2、结合Crew AI,一个可以编排角色扮演的AI智能体的开源框架。如下3个AI Agent各司其职,每个Agent都被赋予了独特的角色和定制化的目标。其中,扮演威胁情报分析师角色的AI Agent,负责收集和分析潜在的安全威胁信息,它的输出将作为红队操作员和检测工程师这两个角色AI Agent的输入数据。红队操作员利用威胁情报分析师的输出来模拟攻击行为,而检测工程师则据此优化检测机制,提升系统的防御能力。Crew AI框架通过精心调度,实现这些AI Agent之间的工作流程无缝衔接,从而形成闭环的检测流程,提升检测的效率和增强检测的能力。
图9 不同角色的AI agent
图10 全自动化流程
六
紫队架构v1.0 VS v2.0
图11 v1.0架构
图12 v2.0架构
根据图10和图11架构,v1.0版本更多集中在基础设施和检测源以及紫队活动的架构和组件上,整个过程对人工依赖较高,检测工程的效率和准确性较低。而v2.0架构作为v1.0的升级版,通过构建自动化的管道逻辑,将LLM的集成作为核心组件,用以生成和部署检测规则。这一架构的创新之处在于,它实现了从威胁情报的分析到检测规则的生成的全自动化流程,极大地提高了检测效率和响应速度。
七
总结
本议题探讨了如何利用大型语言模型(LLM)来革新网络安全检测工程,通过自动化的持续性紫队活动,结合安全编排、自动化和响应(SOAR)以及攻击模拟和安全评估(BAS)工具,展示了一个集成了AI生成检测规则的先进框架。该框架利用LLM的强大自然语言处理能力,自动生成和优化检测规则,不仅提高了威胁检测的效率和准确性,还显著减少了人力资源的投入。总的来说,这一创新方法展示了LLM在网络安全领域的巨大潜力,为实现更加智能化、自动化和高效的安全防御体系提出了创新性的解决方案。