论文题目:NetGPT: Generative Pretrained Transformer for Network Traffic
论文作者:Xuying Meng, Chungang Lin, Yequan Wang, Yujun Zhang
发表会议/期刊:arXiv
发布时间:2023
主题类型:流量分析
笔记作者:JSY@Web 攻击检测与追踪课程
作者主页:孟绪颖 http://www.ict.ac.cn/sourcedb/cn/jssrck/202012/t20201204_5808220.html
NetGPT 是一种生成式预训练 Transformer 模型,旨在解决现有的传统网络流量模型仅为解决特定任务设计、难以在小样本数据集上充分训练、开发成本高昂的问题。NetGPT 通过预训练策略,利用大规模的网络流量数据学习其内在特征,使其能够轻松适应各种下游任务,如应用分类、攻击检测和流量生成。
在技术实现上,NetGPT 引入了多模式网络流量建模,通过将异构的网络流量头部和载荷编码为统一的文本输入,支持流量理解和生成任务。在预训练过程中,NetGPT 使用基于十六进制的通用编码策略,将明文和加密流量转化为通用语义空间,从而构建了一个基础的预训练模型。在微调过程中,通过随机化头部字段、分割流中的数据包,并结合任务特定标签来优化模型,以适应不同的下游任务。
实验结果表明,NetGPT 在多种不同的流量数据集上的流量感知和流量生成任务均表现出色,显著优于当前最先进的基线模型。
作者进一步做了消融实验,检测移除随机化头部字段和数据包分割模块的影响,进一步证明所提出方法的有效性。
优点
可改进之处
[1] Meng X, Lin C, Wang Y, et al. Netgpt: Generative pretrained transformer for network traffic[J]. arXiv preprint arXiv:2304.09513, 2023.
https://arxiv.org/pdf/2304.09513
安全学术圈招募队友-ing
有兴趣加入学术圈的请联系 secdr#qq.com