引用
孙钰 , 刘霏霏 , 李大伟 , 刘建伟. 联邦学习拜占庭攻击与防御研究综述[J]. 网络空间安全科学学报, 2023, 1(1): 17-37
SUN Yu , LIU Feifei , LI Dawei , LIU Jianwei. Survey on Byzantine Attacks and Defenses in Federated Learning[J]. Journal of Cyberspace, 2023, 1(1): 17-37
背 景
作为一种“保留数据所有权，释放数据使用权”的机器学习方法，联邦学习（federated learning, FL）在效率、安全等方面取得了巨大的进步。然而，将训练过程分布在多个机器上将不可避免地导致故障和风险。除了常见的单一节点攻击，拜占庭攻击逐渐成为鲁棒联邦学习优化的研究重点。拜占庭攻击是分布式系统中常见的安全威胁，敌手可同时控制多个用户，具备篡改本地数据、修改上传梯度等能力。
创新点
本文对联邦学习中的拜占庭攻击和防御进行全面分析和总结，分析了拜占庭威胁模型下敌手的背景知识、攻击能力和攻击方法，增加了普通联邦学习下拜占庭防御的最新研究成果，根据技术路线对现有分类进行调整和扩展，额外归纳了隐私保护联邦学习下的防御策略，并分析了可扩展到隐私保护联邦学习的防御方法。
图 1 抗拜占庭攻击的联邦学习发展脉络和分类
面向普通联邦学习的拜占庭防御策略
本文将面向普通联邦学习的拜占庭防御策略分为基于梯度统计特性、基于梯度间距离、基于额外验证数据、基于优化算法补偿和基于差分隐私（differential privacy, DP）五类。基于梯度统计特性的防御策略利用用户梯度的某一统计特性作为全局梯度，来剔除恶意梯度的影响。基于梯度间距离的防御方法通过比较梯度之间的距离，或梯度与某一统计值的距离来检测可能的恶意梯度。基于额外验证数据的方法假设服务器已从收集数据训练得到了初始模型，基于该模型服务器可评估用户上传梯度的可信度。基于优化算法补偿的方案从客户端训练出发，通过优化目标函数、梯度下降算法等，提高联邦学习的鲁棒性。基于DP的方案旨在通过减轻离群样本的影响来增强模型对异常值的鲁棒性。
图 2 面向普通联邦学习的防御策略分类
面向隐私保护联邦学习的拜占庭防御策略
隐私保护联邦学习中，服务器只能获取经加密、扰动等方式保护后的梯度。本文将面向隐私保护联邦学习的防御策略分为基于安全多方计算（secure multi-party computation，MPC）、基于可信执行环境（trusted execution environment，TEE）和基于可度量加性掩码三类。基于MPC的方案利用双服务器架构设计安全两方计算协议，在保护梯度的隐私前提下将密文解密，在明文上做比较。基于TEE的方案主要借助可信环境进行梯度的隐私计算。基于加性掩码的方案从可抵消加性掩码中衍生出可度量特性，用于分析和对比梯度。
图 3 隐私保护联邦学习的拜占庭防御分类
未来研究方向
拜占庭鲁棒的安全隐私联邦学习尚处于初期探索阶段，仍有许多问题亟待解决。当存在数据非独立同分布、多数敌手、用户退出、无中心联邦学习的情况时，需要更高效的拜占庭敌手检测方法。
来源：《网络空间安全科学学报》第一期
（点击文末左下角“阅读原文”可查看本篇文章）
电话：010-68370159 / 68372337
如有侵权请联系:admin#unsafe.sh