#网站运营 蓝点网近期发现的部分恶意 UA，含小米 9 和 OPPO R9SK 等，这些恶意 UA 高频次抓爬内容不知道是什么目的。需要说明的是 UA 是可以伪造的，这些恶意 UA 和小米 / OPPO 没有任何关系，只是恶意抓爬者挑选的一个 UA 而已。检测到这些恶意 UA 后蓝点网已经将其屏蔽，毕竟这种恶意 UA 没必要让它们获取蓝点网内容。https://ourl.co/104601
蓝点网服务器每天要处理数百万次请求，不过和其他网站类似，大多数请求都不是真实用户发起而是各种恶意爬虫，这些恶意爬虫以每分钟几十次上百次的频率进行抓爬，不仅不会给蓝点网带来任何益处，还会造成服务器负载过高影响正常访问。
UA 即用户代理字符串是可以任意伪造的，所以像本次出现的小米 9 和 OPPO R9SK 等并不是抓取者真的使用手机在抓取，只是他们随意挑选的 UA 之一，因此这和小米和 OPPO 是没有任何关系的。
站长同行们也可以检查自己的网站日志看看是否有类似 UA，如果发现恶意 UA 可以添加到黑名单里进行屏蔽，阻止这些 UA 继续高频抓爬网站内容。
下面是蓝点网近期发现的恶意 UA 完整内容：
# 使用 OPPO R9sk UA 的恶意爬虫 Mozilla/5.0 (Linux; U; Android 7.1.1; zh-CN; OPPO R9sk Build/NMF26F) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3644.64 UCBrowser/12.6.0.1040 Mobile Safari/537.36 # 同样是 OPPO R9sk 但 Chrome 浏览器版本不同 Mozilla/5.0 (Linux; U; Android 7.1.1; zh-CN; OPPO R9sk Build/NMF26F) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/64.0.4390.46 UCBrowser/12.6.0.1040 Mobile Safari/537.36 # 使用小米 9 UA 的恶意爬虫 Mozilla/5.0 (Linux; Android 9; MI 9 Build/PKQ1.181121.001; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/85.0.4102.59 Mobile Safari/537.36 LieBaoFast/5.10.1 # 使用小米 9 UA 的恶意爬虫 Mozilla/5.0 (Linux; Android 9; MI 9 Build/PKQ1.181121.001; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/68.0.3304.44 MQQBrowser/6.2 TBS/044704 Mobile Safari/537.36 V1_AND_SQ_8.0.8_1218_YYB_D QQ/8.0.8.4115 NetType/WIFI WebP/0.3.0 Pixel/1080 StatusBarHeight/110 # 下面这个爬虫版本还是 iOS 13.0.3 的 Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/606.2.17 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1 # 下面这个是使用 Google Nexus 5 的 Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.3152.1397 Mobile Safari/537.36 # 下面两条使用的都是 MSIE 系列的 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER) User-Agent:Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705
无论是 OPPO R9SK 还是小米 9 发布都已经有很长时间，这些设备仍在服役的总体并不多，使用并访问蓝点网的用户几乎可以忽略不计，因此在排查到后蓝点网已经将相关 UA 关键词全部添加到黑名单。
例如 Build/NMF26F、Build/PKQ1.181121.001、Build/MRA58N、MSIE 等，通过 Nginx 返回 HTTP 444 直接丢弃这些连接，这样也可以减少服务器的负载。
当然实际上即便开放这些 UA 对服务器负载也不会太大，但问题是这些恶意爬虫每秒不停地抓爬内容，也没有任何说明，其他 bot 好歹还有个抓取说明，所以不如直接屏蔽掉这些恶意 UA。