OPPO应用分发业务存在大量刷量、刷榜等现象。黑灰产的作弊行为,破坏平台生态,损害用户体验。OPPO安全与隐私团队一直对上述风险进行识别和对抗。整个对抗的过程经历专家规则风控、画像风控、算法参与风控等阶段。
目前黑灰产对抗仍比较激烈,过抗过程中存在准确率难精准评估、作弊手段变化快和真人作弊等问题,对反作弊工作提出更高的挑战。OPPO安全与隐私团队是如何应对及解决上述问题的呢?
本文主要讲述OPPO应用分发业务的黑灰产对抗整体架构及历程,内容包括应用分发业务和黑灰产现状,流量反作弊架构、常用工具及应用案例。
1.1 应用分发业务
OPPO应用分发业务包括:软件商店、游戏中心、主题商店等业务。
应用分发业务服务两类用户,开发者和普通用户。OPPO作为平台方,需对两类用户提供良好的用户体验和优质内容。此外,平台方借助安全与风控能力,进行安全与隐私看护。
OPPO应用分发业务主要存在两类风险:
一类是恶意应用。恶意应用的上架,会侵犯用户隐私,主要通过智能护盾这款安全产品进行看护,本文不进一步展开介绍。
另外一类风险,恶意流量。恶意流量的存在会损害开发者利益及体验、破坏生态,主要采用搭建流量反作弊系统进行去感知、识别、处置上述的恶意流量。
举个例子,软件商店或游戏中心APP存在恶意点击,恶意刷下载等行为,这些行为带来的流量,均可被认为恶意流量。
1.2 黑灰产攻击介绍
应用分发业务黑灰产具有完整的产业链,主要包括以下几种角色:
恶意软件开发者:研究破解业务APP,自动化脚本和软件开发人员
软件&服务销售代理:软件、服务售卖或接单人员
刷量团伙:通过伪造手段帮助获利者制造假数据,并牟利
APP开发运营:借助刷量团伙刷量服务,达到APP快速提升排名目的
众包从业人员:给刷量团伙提升人工刷量操作,赚取费用人员
应用分发行业的黑产刷量手段,随着技术发展和对抗升级,刷量手段也在不断演化,可以概括为以下几个阶段:
OPPO应用分发业务反作弊防控主要包括一下三个部分:
1)端侧安全防护
包括应用加固、白盒加密、环境检测等功能模块,主要保证链路层传输安全及提供可信设备检测功能
2)智能风控云端系统
包括基于帐号、设备、IP等的画像系统、风控决策系统及监控告警系统。其中,离线识别子系统,处理T+1数据,适用的接入场景是,比如算法训练任务、业务运营系统。实时识别子系统,处理实时请求数据,适用场景是流量分发和算法实时推理。
3)业务系统后端
云端系统的识别结果,可以被业务系统后端所接入,主要进行运营指标的清洗或算法模型系统的引入。
2.1 面临的问题及挑战
OPPO应用分发业务反作弊经历不断迭代的过程。黑灰产攻击不断加码,防守也持续升级。整体防控过程可分为,专家规则风控、画像系统风控、算法模型参与的风控这三个阶段。
目前,OPPO应用分发业务反作弊存在以下三类问题:
问题一:黑灰产攻击手段演化、升级,新手段攻击。如果风控系统未及时识别,会带来收入损失。OPPO安全与隐私团队通过构建感知->识别->评估->处置一体循环机制进行处理。
问题二:流量反作弊,没有“事后”表现,精度如何评估?无法评估将无法解释结果、影响业务用户价值预估。OPPO安全与隐私团队通过构建业务指标&名单库去近似评估。
问题三:真人真机,众包类的流量,如何识别?如果不识别,会影响业务指标。OPPO安全与隐私团队通过构建真人众包子画像、众包识别算法模型。
解决问题,需要有效的方法论和工具。
现在介绍一下OPPO安全与隐私团队采用的反作弊工具箱,来解决上述提到的问题。
2.2 反作弊工具箱-感知与评估模块
在感知->识别->处置->评估整个防控体系中,OPPO安全与隐私团队在感知与评估模块,通过分别构建感知和评估指标,来提前感知黑灰产变化及识别效果。
感知模块包括以下几个维度的指标:
外部情报
关联关系指标
设备类指标
维度:环比/ 同比、大盘对比等
关联指标主要是设备标识、IP、账号等组合维度的图指标,比如IP-账号维度的三角形计数的历史变化趋势。
设备类指标主要是关键字段完整上报率,关键字段选取来源于设备标识后端系统。
以上指标主要用来及时感知黑灰产攻击的变化,及时调整线上的策略。
评估模块包括以下几个维度的指标:
安装成功率
启动成功率
名单库
在评估阶段主要采用转换率指标及名单库来评估,一般来讲,恶意流量(下载)的转化率指标较低。使用相对转化率(对比大盘、对比正常流量、对比历史),进行近似评估。
另外,还可以通过黑名单库去近似评估,下个工具中会详细介绍黑名单库的实践。
2.3 反作弊工具箱-黑名单
在OPPO应用分发黑灰产对抗中,主要利用黑名单做两件事情:
1、构建及时有效的黑名单,供线上策略调用
2、应用在评估阶段,使用黑名单库内的请求计算转换率指标,作为baseline(恶意流量),用来评估其他策略的有效性。
那么在实践中,我们是如何设计一个黑名单系统的呢?
主要从以下四个维度进行考虑:
1、要解决的问题
提高可用性
打击跨周期的作弊
黑名单在实时风控接入中,可用性非常高。黑名单机制能够积累较长时间的名单,对于打击长期作弊的黑产具有较高的准确率。
2、具体有哪些
IP黑名单
设备黑名单
账号黑名单
3、如何更新
进入黑名单标准(强规则、命中次数限制等)
移出黑名单标准(该设备最后一个活跃时间超出半年等)
设定进入黑名单标准主要用于名单库具有较高的准确率;设定移出标准,防止被盗用的账号或者设备被误伤,以及保证名单的轻量化。
4、如何保证质量
准确率监控
误伤率监控
黑名单主要应用在风险前置筛选阶段,对于新业务的冷启动防控以及跨业务的联防都有意义。
2.4 反作弊工具箱-图算法
黑产团伙具有聚集性、团伙性。图算法解决这些问题,具有天然有效性。
OPPO安全与隐私团队在应用分发业务反作弊中,有效实践了图算法,并带来了提效,也总结了图算法开发的流程、可概括为两筛选一监控两应用。
两筛选:
1、算法筛选 (基于数据分析,查看聚集情况,筛选比较适用的算法)
2、社团筛选(基于社团属性,比如大小,社团的节点特征,分布,聚集等)
一监控:
监控团伙监控是否发生变化,可参考的指标:构图的节点占比、识别出的社团的节点占比及筛选后的节点占比等。
两应用:
1、直接标识该设备下的所有流量(下载、点击、搜索等事件)均标记为恶意
2、通过筛选,将识别的设备入黑名单,供其他业务风控或实时风控使用
2.5 反作弊工具箱-行为序列模型
黑灰产的基于埋点的行为序列和正常用户存在较大差异,黑产团体的行为序列存在相似性。
OPPO安全与隐私团队通过将埋点序列转换成事件序列,构建黑白样本,训练序列深度模型来对黑产行为进行预测。
在应用序列深度模型到反作弊业务中,需要考虑以下两个问题:
1、解决什么样的问题?
黑灰产对抗中,存在不同用户,行为序列一致或相似
2、为什么序列模型适用?
能学习到序列前后的隐含信息
此外,行为序列模型的预测结果相对难解释,线上应用需保证高准确率。
3.1 软件商店流量反作弊
软件商店场景黑灰产主要攻击点,是搜索场景及虚假下载。
对于OPPO安全与隐私团队的风险挑战,是对抗变化、持续及接入业务多,稳定性要求高。
软件商店流量反作弊的对抗,经历了多轮过程,可概括为以下几个阶段:
游戏中心流量反作弊的对抗过程与上述软件商店类似。
识别效果:
软件商店下载刷量中,黑产识别的精准率在99%左右
3.2 主题商店真人众包反作弊
真人众包产业链包括以下三类角色:
平台方,主要负责开发众包平台,招募任务党。
需求方,也就是资源开发方,在平台投放任务,结束后支付费用。
众包人员,在APP/小程序/公众号接任务,完成后拿分成。
整体特点:行为分散,与正常用户行为差异较小;打击难度大,容易误伤正常用户。
目前OPPO安全与隐私团队,针对众包流量的识别,主要采取以下几个方法:
搜索词匹配模型
行为聚类分析
图关联分析
通过将上述三个模型的离线分析结果,转换成线上规则,进行精准打击。
目前主题商店真人众包刷量主要影响主题商店内资源试用、购买行为。业务团队目前采取的处置方案是不拦截、减少曝光率。
识别效果:
主题商店购买行为真人众包识别覆盖率84%左右,准确率95%左右。
本文从整体上介绍应用分发业务反作弊防控架构,所采用的工具及思路。通过软件商店、主题商店两个案例,进行识别效果的说明。
OPPO应用分发业务的黑灰产对抗仍在继续。OPPO安全与隐私团队会在工具链的完善、反作弊运营体系及黑灰产情报建设方面,持续建设,保证反作弊防控架构完善及所看护业务稳定运行。
最新动态