引用
吴峰 , 杨家勋. MC-infer: DLaaS中的零知识和无真实数据模型推理攻击[J]. 网络空间安全科学学报, 2023, 1(2): 46-58
WU Feng , YANG Jiaxun. MC-infer: Zero-knowledge and Real-data-free Model Inference Attacks in DLaaS[J]. Journal of Cyberspace, 2023, 1(2): 46-58
背 景
深度学习即服务(DLaaS)是云提供商提供的基于机器学习的云服务,包括数据可视化、API、人脸 识别、自然语言处理等。DLaaS 允许客户在不具有人工智能技术基础、无需安装软件的情况下使用人工智能服务。尽管DLaaS带来了诸多好处,但其极易受到模型推理攻击的威胁。
研究表明,模型推理攻击者可以成功推理目标模型的参数,从而有效攻击DLaaS中的云模型,例如逻辑回归、决策树和简单的神经网络。此外,一些推理方法使用与目标训练集分布不同的辅助数据集,增加了攻击的威胁等级。同时,研究还证明,即使不使用真实数据,仅使用计算机硬件中的缓存信息也会泄露模型隐私。模型推理的概念如图1所示。然而,现有的模型推理攻击在理论上还不足以全面体现其给MLaaS带来的威胁。
图1 模型推理的概念图
Fig. 1 Conceptual Diagram of Model Inference
提出的方法
在本文中,我们提出了一种具有理论保证的名为MC-infer的模型推理攻击方法,可在黑盒、零知识和无真实数据的情况下实施,如图2所示。
图2 MC-infer的概述图
Fig. 2 Overview of MC-infer in DLaaS Scenarios
首先,我们观察目标模型如何将不同的噪声分类为特定的分布,以了解其代表的分布空间。MC-infer的核心在于如何使噪声具有各种统计特征,使其像真实数据一样。我们将这个过程视为对目标分布的拟合,并将其分成多个子分布进行拟合。通过从不同的分布中抽样,将获得的噪声输入到目标模型中,并通过反馈分类到相应的目标分布中。然后,抽样分布被标记为子分布,以保持样本的多样性和避免数据不平衡。理论上,只要满足这个条件并有足够的采样,噪声就能够拟合目标分布,从而推断出目标模型。该过程可用图3表示。
图3 分布拟合示意图
Fig. 3 Overview of Distribution Fitting
贡 献
1)我们提出了一种称为MC-infer的零知识模型推理方法。MC-infer可以不需要任何真实数据和辅助信息,仅在完全黑盒的场景中仅通过纯随机采样来推理目标模型。它从根本上来说是一种元启发式算法,因此它可以与其他方法相互补充。
2)MC-infer可以丰富随机抽样的多样性,从而降低样本检索成本。它还可以使随机抽样在一定程度上可控,避免数据不平衡。因此,理论上,MC-infer可以在获得较少的替代训练样本的同时获得丰富的特征,从而降低检索成本。
3)我们对MC-infer进行了理论分析,并通过大量实验证实了我们的分析结果。结果证明MC-infer能够保证抽样总体的多样性,保证推理的有效性。
未来展望
未来我们会考虑使用GAN、VAE、JbDA等样本合成技术来提高MC-infer的效率和稳定性。另外,MC-infer在处理复杂分布方面的缺点并从理论上解释它们是很好的后续工作。
论文全文下载方式
1 识别下方二维码;2 点击文末“阅读原文”。
来源:《网络空间安全科学学报》第二期
电话:010-89061756/ 89061778