观点 | 人工智能时代“网络水军”的危害与治理策略
2024-10-17 01:46:0 Author: mp.weixin.qq.com(查看原文) 阅读量:18 收藏

 扫码订阅《中国信息安全》

邮发代号 2-786

征订热线:010-82341063

文 | 中国政法大学光明新闻传播学院教授、博导,网络与新媒体所所长 郑满宁
互联网打造了社会运行的数字基础,虚拟空间中海量信息过载带来的“快节奏”与“不确定性”,让企业、网民在决策时容易依赖显在的量化指标,因此产生了“流量经济”。点击率、转发量、评论数、下载数、粉丝量、点赞量、商品评分等构建起互联网的“社会评价”基础,社会信息环境依赖于量化的制度设计,量化数字成为虚拟空间里的评判逻辑,信息被各种数据赋分,数据表现好的信息能有更好的传播表现。在这种环境中,“沉默的螺旋”效应愈发明显,通过刷数据主动且高频发布的信息在信息场上螺旋式上升,量化数据形成了新的“马太效应”。“网络水军”通过发布话题、大量跟帖、刷新评分等方式吸引公众注意力、操纵舆论,以此获取经济收益,甚至不惜歪曲、杜撰事实来实现利益导向的商业目的。
根据公安机关网安部门依托“净网”系列专项行动发布的通报,截至2023年12月,已侦办“网络水军”相关案件800余起,清理网上违法有害信息500余万条,关闭账号140余万个,解散群组1万余个,关停涉案网站平台1200余个,涉案金额总计80余亿元。一些学者认为网络水军会带来极大的负面影响,如有学者认为“微博精确显示评论数、转发数等特点加大了被操纵的可能与危险性”,还有学者认为“网络水军”缔造了一个庞大的“伪舆论王国”。“网络水军”占用了社会公众的注意力资源,其发布的虚假信息影响了公众对真实环境中商品和事件的理性判断,在一定程度上瓦解了互联网信任体系,损害了互联网经济,对社会公益造成了巨大损失。

“流量经济”下“网络水军”的发展阶段

随着人工智能技术的快速迭代,尤其是生成式人工智能技术逐渐产业化,“网络水军”经历了从传统人工“水军”1.0阶段,到低智能化机器人“水军”协同生产的2.0阶段,再到智能“水军”3.0阶段的发展过程,实现了从零散到组织化、从人工到机器、从量变到质变的飞跃,并且更具隐蔽性。

“网络水军”1.0阶段:职业化初现、以人工发帖为主。最早的“网络水军”是随着“流量经济”的发展而出现的以商业推广目的为主的“水军”,大批在线用户被组织起来在互联网上发布大量的推广信息。21世纪初,“猫扑”“天涯”“凯迪社区”等BBS论坛是网民大量聚集并发表意见的互联网平台,“网络水军”在这些平台上通过以量取胜,炒作热点获利,打造了一系列标志性的“网红”,收益颇丰。随着互联网经济发展的提速以及管理的滞后,以文娱、网购为代表的领域大量使用“网络水军”,这些“网络水军”不仅成为公司、明星制造热点的常规模式,而且参与到抹黑对手的不正当竞争中。以“3Q大战”为代表的“水军”对战更是推动了“水军”市场需求的升级。在这个阶段,“网络水军”呈现出职业化的发展趋势,构建了层层分包的生产组织方式,在互联网上以招工、兼职为由头,以弹性的雇佣方式组织招募数字劳工,大工头带小工头,下层更有大量的普通网民作为“水军”劳工。这个阶段的“网络水军”从“单兵作战”逐步变成“规模团战”,短时间内能制造出成千上万的不同设备点赞、评论等活动的假象。但这个阶段的“网络水军”总体运作方式比较僵化,相对容易识别。
“网络水军”2.0阶段:形成产业链,机器生产介入,开始重视传播效果。在这个阶段,社交媒体蓬勃发展,除了论坛,微博、微信、客户端、短视频平台、电子商务等新媒体平台上的自媒体账号也呈几何级数增长,网络营销的需求主体得到了更大的发展,“网络水军”产业化、自动化程度加深,出现了细化的上下游网络灰产链条。上游产业是以广告商、委托人等提出资金和需求为主的需求方;中游产业是提供接单、策划的公关服务公司和各类软硬件设施的中游业务提供者;产业链末端是进行业务实施的下游“水军”公司和劳工,这三个产业环节形成了职责分明的“流水线”,成为组织严谨、环环相扣的利益链条,并逐渐渗透到经济社会的方方面面。更为重要的是,这个阶段机器人“水军”大量出现,并替代人工进行机械性数字劳动,“灌水”效率得到了极大地提升,无需耗费大量人力物力去做劳工招募和管理。“网络水军”的职业重点从以量取胜与简单信息的复制和堆积,转变为生产效率和效果的提升,在传播主体、传播文案、传播节点、传播平台等方面都出现了专业化运营,专注于营销技巧和舆论引导策略的提升。为了追求更逼真的信息展演,“网络水军”公司通过自养、收购等手段“养号控评”,把自媒体账号养成“大号”后,再收割变现,结合机器人账号进行组合炒作,将不带商业内容的话题混杂其中,让制造、操控热搜等“灌水”行为更加隐蔽,也增加了相关部门识别、查处这类行为的难度。
“网络水军”3.0阶段:技术引领全产业链,深伪式机器人“水军”无孔不入。进入人工智能时代,新技术以大算力为基础,用强算法处理海量数据,在数千亿规模无标注数据集中训练和学习自然语言生成和传播的特征规律中,实现了从支持图片、影像、文本、语音等单一模态的单一任务,到支持多种模态的多种任务转变。在生成式人工智能技术发展中,“网络水军”进一步产业化,以“委托方+组织方+劳动方”的运作机制形成了庞大的产业链条。在该产业链条中,“网络水军”可以全天候、全区域、全平台、全领域地实现多任务模式的“灌水”,新技术不断应用到制造热搜、跟帖评论、平台联动等多个方面,议程设置的能力更强。强势的信息攻击让网民难以辨别。
尤其是在生成式人工智能技术的加持下,机械式工作的机器人“水军”升级为高智商AI“水军”,成为网络公共事件中引爆舆情和操控舆论的“意见哄客”。一方面,生成式人工智能技术让AI“水军”的信息发布不仅高效,还能高度迎合网民的信息偏好与需求,能根据网民本人、平台及场景特征等进行一对一定制,这些深度伪造的内容更易获得网民认同。另一方面,AI“水军”还不断学习算法,通过机器学习计算并模拟算法偏好,将其经验运用到网络“灌水”实践中。在互联网平台上,算法对“水军”的识别力不足加剧了网民信息获取源的封闭性,客观上加强了“水军”的影响力。
从“网络水军”1.0阶段发展到3.0阶段,各类“网络水军”的数量呈现出几何级数增长的趋势。“网络水军”不断“造热点”“带节奏”,有的还利用炒作负面信息实施敲诈勒索;更有甚者通过发布谣言威胁社会稳定和国家安全。“网络水军”已经渗透到社会生活的方方面面,其行为严重扰乱了舆论秩序、信用秩序和网络治理秩序。

人工智能时代“网络水军”的新特点

第一,人工智能时代“网络水军”的专业分工更为细化、产业化分工程度加深。目前,已形成了一条有组织的集上游商家雇主、中游网络公关、下游“网络水军”从业人员为一体的庞大产业链,其中技术、引流、洗钱等各个环节形成了环环相扣的产业链。2024年5月,山西省太原市公安机关打掉了一个涉案金额1000余万元的“网络水军”团伙,涉及全国多省市,涉案店铺151家;其中有投手、中介、店铺、平台等明确的架构层级,累计业务量达175万余单。在这类已被查处的“网络水军”案件中,有人专门进行账号的销售,包括批量机器号、养成系“大V”账号等,若被查封还可以快速补充。有人专门进行业务联系,短时间内可以提供大量市场需求订单。还有人专门提供各类水军使用的技术与设备,比如各类IP工具,能够自动调用全国甚至国外的动态IP地址,避免因平台监测到同一IP频繁发生不当行为而封号。改机工具在2—3分钟内就能完成上千个设备属性更改,通过篡改手机的品牌、型号、串码、IMEI等设备ID信息,突破单台设备注册同一APP的数量限制,让“水军”能控制的机器人账号大幅增加。传统的群控软件从“线控”发展到“云控”,配合改机工具和多开软件,通过远程控制实现手机自动化操作,针对不同平台和相关部门的监管规则制定极其细致的个性化策略,定时、定点、分批进行“灌水”,一个人利用新技术就能操控一个庞大的产业链。

第二,人工智能时代“网络水军”呈现出门槛低、违法成本低等特点。2023年7月,在公安部党委部署开展的网络谣言打击整治专项行动中,依法侦办“网络水军”案件130余起,抓获犯罪嫌疑人620余人,平均每个案件不到5个人,“网络水军”团队越来越精干。2024年4月17日,浙江省鄞州区人民检察院通报的浙江首批新型“网络水军案”中,王某等几个人从产业链上购买了大量账号、工具和4600台二手手机之后,4个月的时间里水军团伙收入近300万元,最终仅以非法经营罪被判处有期徒刑一年三个月,缓刑一年六个月,并处罚金人民币五万元。近年来,“网络水军”涉及非法经营罪的案例数量快速上升。数据显示,目前针对网络水军判处的非法经营罪平均刑期在28个月以下,敲诈勒索罪在36个月以下,寻衅滋事罪在18个月以下,损害商业信誉罪在10个月以下,其中还有少部分案例伴有缓刑和拘役的适用,对于“网络水军”适用刑罚偏轻,这与其严重的社会影响并不相匹配。
第三,人工智能时代“网络水军”商业利益至上,社会危害加大。从信息内容上看,“网络水军”的信息边界越来越模糊,不仅满足于商业“敲边鼓”行为,更渗透到多领域的舆论引导,成为网络舆论中难以识别的力量。部分“网络水军”为了热度和“养号”,故意挑拨或者放大舆论争议,甚至杜撰舆论事件,通过发表煽动性言论,挑动网民对立。从主体看,“网络水军”还呈现出跨境发展的趋势,海外“水军”和以国外势力为需求方的国内“水军”介入舆论场,社会舆情甚至延伸到政治领域。从行为上看,有的“网络水军”公司通过有偿删帖来牟取暴利,甚至涉嫌网络欺诈,通过开设多个自媒体账号,大量编发相关企业虚假文章,以负面炒作等方式相要挟,以此牟利。
第四,人工智能时代“网络水军”识别与追责的难度不断加大。“网络水军”在人工智能技术的加持下,占用社会注意力资源,干扰人们对现实世界的客观认知,破坏社会信任,影响公众情绪与心态,加剧群体对立,严重扰乱社会秩序。“网络水军”往往假借网络技术公司、营销公司、科技公司、新媒体公司等,将违法犯罪活动夹在正常业务中,不断模糊“网络水军”行为与正常网络营销业务的界限,通过常规摸排很难被发现。“网络水军”还采用交叉控股的方式养成或直接收购大量有粉丝数量和影响力的网络“大V”账号进行接力炒作。此外,相对隐秘的网络社群成为他们的接洽地,不仅设置了入群门槛,大多还通过“黑话”在线上交流,某些环节还使用各类软件“隐身”,甚至在境外服务器上开展业务。在进行资金结算时,“网络水军”公司会通过大量公私账户、线上支付甚至虚拟货币等方式进行结算,致使侦查工作量剧增,出现调查取证链路长、证据固定难等问题。

人工智能时代“网络水军”的有效治理

“网络水军”的治理具有紧迫性。“网络水军”的治理已经不是单一部门就能完成的,需要全局性把握,实现多领域、多主体、多手段、多技术工具的协同联动治理。

第一,调动多方主体参与“网络水军”监管,各职能部门应形成案件侦办的统一认识和打击合力,建立“网络水军”监管数据库和经验交流系统。目前对“网络水军”的治理主要围绕专项行动展开,如公安机关、网安部门等依托“净网”等系列专项行动,对“网络水军”相关违法犯罪行为依法开展侦查打击。这类专项行动短期内有效,但缺乏长效机制容易造成“网络水军”“打一枪换一个地方”或者死灰复燃。除了公安部门以外,其他各部门也参与到了“网络水军”的监管中。网信部门对于虚假账号的生成、机器账号的泛滥应出台一系列的管理规则;工商管理部门对于大批量购买二手手机的行为应备案,便于追溯。从前期查处的各个案例来看,对于新技术的使用应该更警惕,应用软件商店应严格把关,在群控、IP改写等软件上架时进行及时封堵,相关部门也应该追责,对于开发此类软件的公司进行严格管理。
第二,明确自媒体平台的责任边界与强化预见义务。自媒体平台作为网络服务提供商,客观上对后期传播乱象负有责任。“僵尸号”、虚假账号的形成在初期的创新扩散中发挥了一定作用,平台对此存在管理的“灰色地带”。近年来,“网络水军”的危害越来越大,自媒体平台不能做信息传播治理的旁观者,而要负有重要的主体责任。对于不断升级的“网络水军”策略,应强化平台主体责任,让其承担相较于一般网络服务提供商更高的预见义务,做好自媒体账号主体身份的登记入册和管理工作,从源头上降低“网络水军”上中下游企业的勾连,并在平台上完善水军举报功能,建立网民监督体系。互联网平台应建立健全融合生态质量指标的自媒体生态管理评估体系,将自媒体生态构建指标纳入评估体系中,将虚假账号和“网络水军”作为其考核的重要维度。同时,自媒体平台应强化对社交网络中用户典型行为模式的研究,从不同视角强化对“网络水军”的识别,如针对部分单个用户的信息发布频次远超过正常的用户,可以打上疑似“网络水军”的标签。2024年上半年,抖音针对“同质化网络水军”类违规行为开展专项治理行动,并发布关于自媒体虚假人设的治理公告,这类治理行动应该成为常态。此外,互联网平台还可以从内容、行为、属性等不同视角,分析“网络水军”信息主题相似度、平均有用度、行为关联性、兴趣关联性、平均评价积极度和综合质量评价等特征,利用用户行为日志抽取用户交互图并发现水军的重叠社区,在多视角基础上运用集成学习算法进行“网络水军”识别。平台方还可以从社会关系方面关注“网络水军”群体,通过分析同一个话题中出现的“网络水军”社区和观点倾向,研究其群体特性,并识别其幕后推手。平台方应注重技术创新,在虚假账号买卖、手机识别、用户识别、群控识别、AI表达等机器行为方面都有很大的升级空间。
第三,加大科研力度,提升自媒体平台的治理精度,提高“网络水军”识别的专业化分工程度。面对急剧扩张的互联网行业规模,一些监管方式和技术手段存在滞后性和局限性,一些地方存在专业力量不足等问题,需要依托新技术从源头上重新梳理设计,升级管理技术。相关部门可以推动自媒体平台信息传播数字痕迹的认证,以此为证据,通过建立公开透明的分布式记录并接受公众共识机制的监督开展“循证实践”,让执法和效果评估有迹可循。利用区块链去中心化网络技术,研发区块链版权登记系统,对各类文字、画面、声音、关键字、发布时间、作者等信息要素进行登记,永久写入区块链。基于区块链的公信力及不可篡改性,结合人工智能及大数据技术,让信息传播可溯源、可转载、可监控,完成用户登记并利用电子签名身份认证建立可信赖、可查验的认证体系,为版权授权、维权、追责等提供基础支撑。利用大数据挖掘、机器学习、神经网络等技术手段,对“网络水军”事件进行智能分析和预警,建立大范围的“网络水军”信息收集、识别和预警系统。
第四,建立健全“网络水军”法律治理框架。目前“网络水军”在进行判罚的时候,存在罪名适用不清、犯罪主体认定不明、关键证据难以获取等问题,刑事规制效果较差。首先,涉及“网络水军”的法律法规相对零散,“网络水军”所涉及的罪名较多,包括损害商业信誉和商品声誉罪、非法经营罪、诈骗罪、敲诈勒索罪、虚假广告罪、非法获取计算机信息系统数据罪、帮助信息网络犯罪活动罪、侵犯公民个人信息罪等。其依托的法律法规主要分散在《中华人民共和国刑法》《中华人民共和国民法典》《中华人民共和国电子商务法》《中华人民共和国消费者权益保护法》《网络交易管理办法》《关于依法惩治网络暴力违法犯罪的指导意见》《关于办理利用信息网络实施诽谤等刑事案件适用法律若干问题的解释》《互联网跟帖评论服务管理规定》《互联网论坛社区服务管理规定》《网络信息内容生态治理规定》等条文中。但总体而言,现行法律法规对“网络水军”的界定仍不够清晰,“网络水军”往往以“打擦边球”的方式模糊与网络营销的边界来躲避惩罚。从执法层面来看,我国现有的执法取证因程序规则不完善与信息技术门槛而受到限制,大多只能以非法经营罪进行定罪处罚,处罚的大部分是处于下游末端的“网络水军”公司,对于上游和中游的产业链打击力度有限。
其次,“网络水军”事件大多涉及公益侵害,受害方是广大社会公众,虽然破坏性强,但若没有明确的经济利益的损失,不少事件缺乏社会公众主张权利的主体,由网民个体利用法律起诉“网络水军”的可能性较低。因此,应尽快在法律框架下明确“网络水军”违法行为的构成要件、公益侵害属性、损害赔偿计算等法律适用规则,由检察机关提起民事公益诉讼,解决谁来替社会公众主张权利的问题,而且要求“网络水军”承担相应的公益损害赔偿,加大对“网络水军”的惩戒力度。就专项立法而言,可以先以行政法规或部门规章的形式制定统一的“‘网络水军’防治条例(办法)”,对 “网络水军”的信息传播范围、数量、边界作出较为清晰的界定并进行管理,逐步推进预防、遏制和惩治“网络水军”的专项立法,形成软法预防与阻断、硬法保障与监督,构建软硬法互补式的系统治理体系。
第五,凝聚社会共识,从上中下游全产业链进行梳理,提升社会公众对“网络水军”的认识能力,提高社会公众对“网络水军”的鉴别力。“网络水军”往往把自己包装成文化公司、传媒公司、营销公司、中介公司等,一些商业公司会成为“网络水军”的委托方,扮演了给“网络水军”公司“背书”的角色。一些“网络水军”在社群等渠道招募有偿数字劳动的普通网民和网络“大V”,这些普通网民和网络“大V”缺乏对“灌水”行为所带来恶劣后果的认知。为此,应充分宣传“网络水军”的危害,严控“网络水军”各个运作节点,从委托方、组织方、劳动方等加强管理,从信息传播、资金流动等方面进行多方追踪和阻断,建立案例库,对行业黑话、资金流转方式、组织方式等进行汇总识别,形成全社会对“网络水军”治理的共识,营造更加健康安全的网络环境。【注:本文得到中国政法大学科研创新项目(项目编号:ZFYZ86001)、中央高校基本科研业务费专项资金资助】

(来源:人民论坛网)

分享网络安全知识 强化网络安全意识

欢迎关注《中国信息安全》杂志官方抖音号

《中国信息安全》杂志倾力推荐

“企业成长计划”

点击下图 了解详情


文章来源: https://mp.weixin.qq.com/s?__biz=MzA5MzE5MDAzOA==&mid=2664227522&idx=5&sn=68827e1e711f3c29ce76114b743b5a0b&chksm=8b59e03bbc2e692d637910b8fa525431a8403d08fa8d7bced0482ea7522422a7f5b17be892b7&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh