测试结果以 4 个指标为主：

• 检出率：用来反应 WAF 检测能力的全面性，没有检出即为 ”漏报“。

• 误报率：用来反应对正常流量的干扰，不靠谱的结果即为 ”误报“。

• 准确率：准确率是检出率和误报率的综合指标，避免漏报和误报顾此失彼。

• 检测耗时：用来反应 WAF 性能，耗时越大则性能越差。

检测耗时用工具直接统计即可，其他这几个指标如何计算，可以对应到统计学中的预测分类概念：

• TP：将 攻击样本 拦截 的数量。

• TN：将 正常样本 放行 的数量。

• FN：将 攻击样本 放行 的数量，即 ”漏报“ 数量。

• FP：将 正常请求 拦截 的数量，即 ”误报“ 数量。

这样就可以给出上面 3 个指标的计算公式：

• 检出率 = TP / (TP + FN)

• 误报率 = FP / (TP + FP)

• 准确率 = (TP + TN) / (TP + TN + FP + FN)

为了减小随机性带来的综合影响，以减小误差，对于 ”检测耗时“ 我将会拆为 “90% 的平均耗时” 和 “99% 的平均耗时” 两个指标。

1. 数据来源：所有测试数据均来自于我自己的浏览器。

2. 抓包方式：用 Burp 做代理，浏览器全局指向 Burp，导出 XML 文件后使用Python 脚本处理成单个请求。

根据以往的经验，在互联网上暴露的服务，通常正常流量和攻击流量的比例是 100:1 左右，我们按这个方式对样本进行配比。

1. 白样本：刷微博、刷知乎、刷B站、刷各种论坛，一共攒了 60707 个 HTTP 请求，总大小 2.7 GB（该过程浪费了我 5 个小时）。

2. 黑样本：为了让测试效果更充分，我使用四个不同的方法采集了黑样本，一共 600 个 HTTP 请求（该过程浪费了我 5 个小时）。

• 常见的攻击流量：把 portswigger 官网提供的所有攻击 Payload 都打一遍。

• 常见的攻击流量：把 portswigger 官网提供的所有攻击 Payload 都打一遍。

• 针对性漏洞流量：部署 VulHub 靶机，所有的经典漏洞使用默认 poc 挨个攻击一遍。

• 攻击对抗流量：调高 DVWA 的对抗级别，在中级和高级防护的情况下把 DVWA 再攻击一遍。

测试指标和测试样本明确之后，现在需要三个东西：WAF、接收流量的靶机，还有测试工具。

所有 WAF 均使用初始配置，不做任何调整。

靶机用 Nginx，无论收到什么请求，均直接返回 200，配置如下：

location / {return 200 'hello WAF!';default_type text/plain;}

测试工具的需求如下：

• 解析 Burp 的导出结果

• 按 HTTP 协议重新组包

• 考虑到后续数据要开源，要删除 Cookie Header

• 修改 Host Header 字段，让靶机能够正常接收流量

• 根据请求是不是返回 200 判断是否被 WAF 拦截

• 对黑白样本混合后均匀发包

• 自动计算上述 ”测试指标“

TP: 426     TN: 33056    FP: 38              FN: 149

总样本数量: 33669         成功: 33669      错误: 0

检出率: 74.09%

误报率: 8.19%

准确率: 99.44%

90%   平均耗时: 0.73毫秒

99%   平均耗时: 0.89毫秒

宝塔 WAF

nginx-lua-waf

TP: 213 TN: 32619           FP: 475         FN: 362

总样本数量: 33669           成功: 33669   错误: 0

检出率: 37.04%

误报率: 69.04%

准确率: 97.51%

90% 平均耗时: 0.41毫秒

99% 平均耗时: 0.49毫秒