公开!长亭洞鉴(X-Ray)“高可用”研发笔记
2023-10-13 19:11:0 Author: mp.weixin.qq.com(查看原文) 阅读量:17 收藏

作为大家的老朋友

长亭「洞鉴(X-Ray)安全评估系统」

持续自我迭代

在实战化运营场景的应用实践中

完成了又一次突破


第一篇
初识·实战漫游

企业资产复杂度的熵增,带来的是持续的混乱和不断的风险。

企业常用漏扫工具作为有效手段对抗资产风险的熵增。但如今在安全运营实战中摸爬滚打多年,我们发现了传统的漏扫工具面对大规模资产场景的诸多弊端。

01

企业网络规模的扩大和数据量的增长,传统网络安全扫描工具往往无法满足高并发性的需求。

02

混合云环境下扫描任务过载容易导致漏扫工具的服务器故障引起扫描中断的情况。

03

千万级资产数据并发扫描,业务负载过大导致扫描任务中断,容易造成扫描数据的丢失。

... ...

第二篇
探索·技术落地实践

所有企业中的安全运营管理者都希望整个漏洞闭环处置流程连续顺畅高效,尤其是目标体量大、多人协作的实战场景。

从协助企业漏洞运营闭环落地的角度,产研团队经充分调研认为,应优先提升架构的弹性与灵活性,让产品无论面对云环境或是庞杂资产场景,都能轻松应对。

确定好路线,团队用三条腿走路,筑起“高可用”的能力壁垒。

1
不设上限的高扩展能力

由于洞鉴(X-Ray)具有容器化封装架构的原生优势,使其可以良好匹配 K8S 的容器编排功能。在弹性能力的实现上,我们选择了云原生常用的HPA技术,使得平台可以通过编排软件灵活地进行横向扩展,以便在需要时支持更多的任务和引擎。同时数据库,在感知到系统负载过高时,自动实现扩容,保证数据库的高可用性。

使用了洞鉴(X-Ray)的企业在实际安全评估场景中在实际的安全评估场景中,不再因业务扩容、资产扩增,为扫描时效、快捷扩容而困扰。与此同时,还降低了企业运维成本和因扩容带来的不可控风险。

HPA指的是 Pod 水平自动扩缩,它可以基于 CPU 利用率或其他指标自动扩缩 ReplicationController、Deployment 和 ReplicaSet 中的 Pod 数量。赋予了洞鉴(X-Ray)在K8S上自动化弹性伸缩的能力。

2
高达99.9%的可用性保障

当业务扩大到一定规模时,扫描能力也随之而扩展,这就对平台的可用性有了更高的要求。如何在漏洞处置流程中让安全评估过程顺畅无阻、故障无感知,就成了首先要解决的问题。

想要扫描任务连续不中断、结果数据准确呈现,同时故障切换用户无感,洞鉴(X-Ray)也就势必要在主备上有所突破。研发团队最终将目光锁定在Keepalived技术。

将Keepalived技术应用在多台服务器并启动服务,由主管理节点(Master)获得所有资源并对用户提供服务,备管理节点(Backup)作为主管理节点(Master)的热备;当主管理节点(Master)失效或内部容器出现故障时,备管理节点(Backup)将自动补齐主管理节点(Master)所需的能力。

数据存储类似,在数据存储(Master)出现故障时,数据存储(Backup)自动拉起,保证数据安全无丢失。

应用Keepalived技术后的洞鉴(X-Ray)高可用示意图

Keepalived 特性(功能)配合长亭自研自动化检测脚本,可以实现洞鉴(X- Ray)系统健康状态实时监控自检,在出现故障时秒级自动切换,从而确保洞鉴(X- Ray)系统的可用性。

实战环境验证切换成功率达到了99.9%,平均故障恢复时间(MTTR)低于3秒钟。 

3
突破10W/S的消息高性能处理能力

在实现扫描能力便捷扩容和扫描连续性的高度保障后,还需要千万级资产量的扫描数据结果快速统计分析并精准呈现,形成清晰明了的用户可视化视图。这就对 SaaS化管理端的处理能力提出了很高的要求。

LVS负载均衡技术具备强大的高并发性,能够在短时间内对大量网络数据进行扫描和分析,快速并准确呈现资产潜在的安全漏洞。通过HAProxy配合多种负载均衡算法,将流量分散到多个主机并行处理,并能自动移除存在问题主机,进一步提高系统的性能和可靠性。

实践验证,在企业一般10G的带宽环境下,消息队列的处理能力可达10万条每秒,千万级资产体量场景下,远远超过其对负载处理能力的要求。

第三篇
实景·模拟压力测试

洞鉴(X- Ray)的产研团队进行了一系列压力测试来验证平台高可用性的实现效果。

在测试中,我们实现了千万级别资产近千并发任务及引擎同时运行,并成功完成了所有的任务。其中扫描任务100%成功,结果准确呈现。

同时我们也顺利通过多家头部企业真实环境考验,实战场景下超大规模的安全扫描任务顺利符合预期的完成,双重验证了洞鉴(X- Ray)在扩展性、可用性、高性能处理的“高可用”能力。


这些实战场景下的验证与积累,也展示了我们对未来的业务需求和发展趋势的快速适应能力。

在洞鉴(X-Ray)“高可用”能力的研发过程中,我们找到了技术与实战化应用场景的平衡点,顺利的完成了又一次的突破升级。

如今除了高检出、低漏报、低误报外,稳定、灵活、高可用成为了它新的标签,相信拥有新标签的洞鉴(X-Ray)将为用户带来更“丝滑”的使用感受,欢迎体验~


文章来源: https://mp.weixin.qq.com/s?__biz=MzIwNDA2NDk5OQ==&mid=2651385710&idx=1&sn=34a047987cbe91ed3352ffea18ab333c&chksm=8d399ee6ba4e17f0d104d2e8077ffdf0777c025d1093473f2ae9ac763313e189fbc6bb39aaf3&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh