从安全元数据湖,看懂斗象的技术坚持
2024-8-19 13:33:39 Author: mp.weixin.qq.com(查看原文) 阅读量:10 收藏

从安全元数据湖

看懂斗象的技术坚持

攻防不对等的画面

通过实战演练一次次深入人心

基于先验知识和精准识别的传统检测手段

已明显难以应对愈演愈烈的

0-Day未知漏洞和未知攻击威胁

缺乏集中式的、可快速抽取的

全景安全数据视图和完整原始日志

不同来源的数据分散、冗余、不一致性问题

成为数据驱动安全的“卡脖子”瓶颈

打破数据孤岛的

“秘密武器”

接入和集成来自各种数据源(如网络设备、防火墙、入侵检测系统(IDS)、操作系统、应用程序、数据库等)的日志数据。它支持接入多种日志格式(如文本、XML、JSON),并配备了丰富的采集配置规则和日志解析器。通过智能解析和转换不同类型的日志数据,系统能够实现高效的数据集成和分析

通过集中和整合不同来源的安全日志数据,支持自动数据解析、数据转换显著提升安全数据的管理、实时分析和响应能力。利用并行计算技术,加快数据处理速度和吞吐量,为事件分析提供高效率支持

支持实时数据流处理,能够跨数据源日志的关联和聚合操作,提升威胁感知能力,如告警和威胁情报关联。采用有状态计算技术在事件流中维护和管理状态,实现复杂事件的检测和处理。通过时间窗口或滑动窗口技术,对事件流进行分段分析,能有效识别短时间内的异常事件

内置模块化指标,包含字符统计、阈值、求和、方差、标准差、连续次数、连续累计、业务链等,可辅助用于数据指标统计、阈值判断、异常分析等多样化计算场景。

左右滑动查看更多

湖仓一体

海量日志存算架构

开放性接入,存储和纳管海量多源安全元数据,通过按列组织数据,优化数据查询、列式存储可以直接访问相关列的数据,允许快速查询特定列的数据,支持全文检索与提速,确保数据提取迅速,聚合操作响应敏捷。

通过XLakehouse超高压缩率的存储算法,可减少60%的常规存储空间,助力企业实现经济高效的数据管理和磁盘节约。PB级数据毫秒级交互式查询分析和原始日志长周期存储,存储空间随工作负载需求动态水平扩展

斗象XLakehouse支持大规模结构化、非结构化数据的采集、存储和计算,数据流批处理计算引擎,提供大规模并行计算(MPP)能力满足回溯分析、实时/离线计算等各种复杂应用场景。实现了高吞吐,高可信、低延时和可扩展的计算分析能力

斗象XLakehouse 的联邦查询能力有效地利用现有设备,通过对原有数据进行分类和标记,并支持跨设备的高效查询,并与多种第三方数据源(如流量日志、主机日志、应用日志)无缝对接,兼容ES、CK、HDFS、OSS 等多种数据源,形成统一数据访问视图,实现跨数据源有效整合。增强即时数据分析,灵活性、降低数据移动成本

DSL语法引擎

含变量,算子,活动列表,管道,由这些关键部件灵活构建了安全DSL满足各类日志数据计算,覆盖复杂安全分析场景。简化复杂语法,面向数据加工和预处理场景,能够解决复杂、多样化的问题,有效提高场景查询逻辑的可读性和可维护性和清晰的查询分析能力,实现人机对话。

DSL中的函数算子包括如逻辑运算符与函数方法、去重、排序、IP域名解析、二元运算等算子,用于执行各类数据处理任务,如计算、转换和分析。这些算子帮助用户从复杂的数据中快速提取有用信息和洞察。通过数据处理和分析任务,帮助用户快速提取有用的信息和数据价值

DSL中的活动列表如抽取中间数据、攻击源IP列表、业务账号列表、DNS域名列表,在数据分析场景中充当了一个灵活且高效的数据管理和分析工具,它支持实时监控、动态数据处理和事件驱动的决策支持

DSL中的管道通过组织和连接数据处理步骤,通过串联多个处理步骤来完成复杂的数据处理任务,管道支持递归运算,如四次管道等,简化数据处理过程,提高了代码的可读性和维护性,支持数据处理的自动化和灵活调整,提升了数据分析60%的效率

左右滑动查看更多

复杂场景组合式

基于湖仓数据的

决策引擎

内置决策引擎,自定义因子和参数,设置决策表,实现动态评分机制,支撑复杂场景组合式的建模分析能力。通过预设安全剧本,自动化执行工作流,提升智能决策和响应效率。

自定义规则管理、自定义因子参数、构建动态评分机制,具备复杂分析场景化安全建模能力。具备探索性数据分析框架在面对风险变化快、长期对抗效果进行监控,快速验证有效性,即时调整安全策略。

斗象XLakehouse安全元数据湖系统

技术匠心来源于对数据分析

驱动安全运营的长期理念

对元数据重要性的深刻认识

对打造一款面向实战

全量安全日志数据底座的执着

推动国产安全产品质量飞跃的无畏投入

斗象XSIEM元数据融合安全管理平台

PRS-NTA全流量安全计算分析平台

“数据心脏”

与日俱增迭代的强劲脉动和澎湃动能之下

是斗象科技十年的技术坚持

更是我们对安全产品创新的极致追求


文章来源: https://mp.weixin.qq.com/s?__biz=MzIwMjcyNzA5Mw==&mid=2247494946&idx=1&sn=7ebf82d1ce950581bd0f34fe6c8db43e&chksm=96d8e6f8a1af6feeeab4ebf4a491cb6a49304c07e7abaf51f0f78342ea16aee596a0e42af096&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh