科来流量处理能力成功突破200Gbps大关!
2024-8-27 18:23:51 Author: mp.weixin.qq.com(查看原文) 阅读量:7 收藏

 扫码订阅《中国信息安全》

邮发代号 2-786

征订热线:010-82341063

8月22日,科来宣布流量处理能力已成功突破200Gbps大关。这一里程碑式的成就不仅标志着科来在网络监测性能与分析技术方面取得了显著的进步,再一次刷新行业标准,也是迄今为止全球领先的高性能产品。

扛得了高吞吐量压力,稳得住更多应用场景

数字化程度越高,对于业务稳定性与性能质量的要求越高,流量分析作为业务观测的关键技术,早已成为广泛共识及被广泛应用。尽管如此,仍然有特定的应用场景需要更高的处理性能来满足需求,200Gbps技术关卡的突破有着划时代的意义。
  • 运营商:强力IT支撑,构筑高质量服务
在运营商资源池及数据中心,各类业务复杂交织,并承载着极其庞大的数据流量,这些流量呈现出高度动态变化的特性、多样化的类型以及不均衡的分布特征,同时资源池之间也需要进行高速互联。
这一巨大且复杂的数据量需要分析设备具备强大的数据处理能力,只有高性能的流量分析设备才能胜任,并完成对流量数据的实时监控和分析需求。为了保证数据传输的顺畅,高性能流量分析设备需要支持高吞吐量的数据采集和处理,同时尽可能降低从数据采集到分析结果输出的时间延迟,确保网络的高效运行。
成倍增长的设备处理能力,打破过去性能瓶颈,更有助于聚合链路分析,进一步降低部署与运维难度,对业务实施策略、能耗等进行综合优化,更符合高可用、高能效的需求。
这些特性共同保障了运营商能够持续提供高质量的服务,满足不断增长的数据通信需求。
  • 超级工程 “东数西算”  :让网络传输超级速度、超级稳定
为了确保数据高效、安全地从东部地区传输到西部数据中心,需要克服一系列技术难题。跨地域长距离的数据传输导致网络延迟和丢包成为影响服务质量的关键因素;大规模数据中心间高并发数据交换对网络带宽构成了挑战;东西部之间的数据在高度动态变化的网络环境中仍需维持高效稳定的传输性能。
高性能流量分析设备不仅能够实时处理大规模的数据流,还能够对数据传输过程进行实时监控,并根据流量分析结果调整网络策略,优化路径选择,减少拥塞点,提高网络性能。通过实时监控可以迅速识别网络瓶颈并作出相应的调整,从而保证数据传输的效率。同时,东数西算涉及多个数据中心之间的高速互联,高性能流量分析设备能够实现多路径路由策略,合理分配数据流,避免单一路由过载,这有助于平衡网络负载,确保整个系统的高效运作。
这些共同保障了“东数西算”工程的数据传输质量,满足了其对于数据传输速度和稳定性的严格要求。
  • 国家层面的数据治理:助力数据海洋中的领航者
大数据局作为国家数据治理的重要组成部分,承担着海量数据的收集、处理和分发利用的任务。科来高性能流量分析设备具备强大的数据处理能力,能够实时处理大规模数据流,并及时发现异常情况,保障数据的安全性和完整性。除了基本的流量统计功能之外,高级分析功能、机器学习和人工智能技术的应用,识别复杂的行为模式和潜在的安全威胁。此外,随着数据量的增长,科来高性能流量分析设备还具有高度的灵活性和可扩展性,并且支持水平扩展以提升系统整体性能,以应对不断增长的数据处理需求。
这些特性共同确保了大数据局能够高效、安全地管理和利用海量数据资源。
  • 互联网行业:有“流量”,更无惧流量激增
大规模数据传输是互联网行业的基本常态,数据需要被快速传输以满足用户的即时需求,同时流量的模式和大小也会随时间和用户活动的变化而变化。在面对热点等特定事件发生时,会导致短时间内网络流量激增。
科来高性能流量分析设备能够应对此种网络环境下的实时响应与决策能力——在高度竞争的互联网行业中,快速响应市场变化和用户行为至关重要。高性能流量分析设备能够提供近乎实时的数据分析结果,帮助企业迅速做出决策,优化用户体验,增强竞争力。
这使得企业可以根据实际需求灵活调整资源,满足不断变化的业务需求。

核心技术革新,塑造行业标杆

科来单设备即可满足200Gbps流量采集、储存、分析及取证等能力,在保证存储海量数据的同时仍能提供优质的性能保障,保持网络的稳定运行和高效管理。
此次采用国际权威网络分析仪表厂商是德科技Keysight的Ixia XGS2-CloudStorm-XP构建测试流量,通过TAP分流器汇聚构建200Gbps的流量环境压测。测试完全参考实际业务的四到七层真实应用环境建立TCP连接,模拟完整的应用会话流程,更贴近真实用户网络业务场景。

硬件拓扑图

Ixia发包仪及TAP流量截图

测试过程使用单台100Gbps Ixia发包仪,流量构造70Gbps

以TAP端输出3组至科来目标测试设备,总流量约210Gbps

近24小时长周期大流量压测下,采集与处理性能持续稳定在200Gbps以上
组织技术攻关,突破层层壁垒
科来结合产品全业务DPI分析能力的需求,进行了DPDK驱动深度改造优化,突破了传统的依赖特定硬件搭配、仅适用于实验室环境的Numa方案,开发出支持通用网卡、无特殊硬件搭配要求的新型采集方案,性能无损且显著降低内存资源占用。
此次革新还突破了传统的Raid卡方案的存储瓶颈,最高支持高达近50GBytes/s的IO性能。

科来200Gbps产品的领先优势

  • 优势一:超高采集与存储能力

强大的PB级别存储能力与高达400Gbps或超亿级pps的采集能力;采集丢包率低于0.00001%(千万分之一)。

  • 优势二:数据处理效率大幅提升

实现全流量分析业务中的数据包完全零拷贝,同时完全深度适配硬件Numa特性,降低内存带宽开销40%,提升CPU效能约1.7倍,大幅提升全流量分析处理能力。

  • 优势三:超高索引能力

在流量数据分析的场景中,科来自研的全新一代超高性能索引数据存储组件,写入和检索性能为开源数据库ClickHouse 的近10倍,且对系统资源的消耗降低了 90%(同等软、硬件测试条件下),产品支持高达百万级EPS(Events Per Second)的日志写入能力和400Gbps的流式写入能力,达到百亿级日志秒级检索,百TB级数据包秒级检索,极大提升了数据处理、查询和引用的性能。

  • 优势四:适配各类生产环境

支持常见的10G/40G/100G通用网卡以及40G/100G科来专用采集卡;全新Numa适配方案,无特定硬件搭配要求,相比仅靠构造二、三层无状态流的测试数据,产品在完全模拟真实业务的环境中运行良好,更灵活适用于各类生产环境。

分享网络安全知识 强化网络安全意识

欢迎关注《中国信息安全》杂志官方抖音号

《中国信息安全》杂志倾力推荐

“企业成长计划”

点击下图 了解详情


文章来源: https://mp.weixin.qq.com/s?__biz=MzA5MzE5MDAzOA==&mid=2664223475&idx=1&sn=c97d7919d5f2570601d0905c7bf6be5f&chksm=8b59d00abc2e591c6fe1ea6c387f338a78dda389aad3cb064f1e204d46cfedea330d8520a7a0&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh