今天分享我实验室白泽智能（Whizard AI）的最新研究CausalPC: Improving the Robustness of Point Cloud Classification by Causal Effect Identification。本文通过引入因果模型，提出了一种提升点云分类模型对抗鲁棒性的方法，其应对有目标攻击和无目标攻击的防御效果都远高于现有的多种SOTA防御方法，目前该工作已被计算机视觉顶级会议IEEE/CVF Computer Vision and Pattern Recognition Conference (CVPR) 2024录用。

点云分类的对抗威胁

随着在自动驾驶场景中3D传感器的广泛应用与快速发展，点云数据开始被越来越多地应用于多种3D视觉应用。点云通过一组包含3D坐标的点表示一个物体，而深度神经网络在识别和分类这类数据上已经表现出优异的性能。然而，神经网络的深层非线性结构也使其深受对抗样本威胁的困扰，即攻击者通过在待分类点云上添加微小的扰动，就可使模型分类错误。

图1 点云对抗攻击手段多样

由于点云数据的特殊性，针对点云的对抗攻击手段多样繁杂。如上图所示，常见的点云对抗攻击手段包括添加点、删除点、扰动点、整体变换等。现有针对点云数据中对抗样本的防御大致可以分为对抗训练和面向输入的防御。基于对抗训练的方法通过将正确标记的对抗样本加入模型训练过程实现防御；面向输入的防御通过识别特定模式，如点云对抗样本中的异常值，并缓解这些已识别的模式。然而，层出不穷的攻击方式使得现有两类防御方法都难以具有全面有效的防御效果。

因果理论建模

从纷繁多样的攻击手段中，项目组识别出不变的核心要素——对抗点云仍旧保有基本的点云结构信息。基于此观察，项目组首次提出在点云分类任务中引入因果模型，并从中抽象出如下图所示的因果图。该因果图关注点云分类过程中包含的结构信息（代表决定分类的关键特征）和隐藏混杂因素（代表干扰分类的噪声）这两个关键变量。人类认知系统能够通过正确因果决策过程的学习关注关键的点云结构信息，从而实现正确的点云识别；而模型在决策时缺乏正确的决策框架，因此易受对抗噪声等混杂因素的影响，导致分类错误。为解决深度学习模型的这一缺陷，项目组通过前门调整策略帮助模型正确建模隐藏混杂因素的影响，识别从点云数据到分类标签的正确因果关系，进而增强了点云分类模型的鲁棒性。

图2 点云分类任务的因果图

为实现正确的因果建模，项目组设计了结构提取模块、点云重建模块和基于联合注意力机制的分类模块。整体推理流程如下图所示：给定一个待分类的对抗点云样本，结构提取模块首先建模点云的结构信息分布；同时，点云重建模块则密集化对抗点云以模拟原始物体，并对密集后的点云进行重采样以建模原始点云分布；最后，基于联合注意力机制的分类模块根据提取到的点云结构信息分布和重建的原始点云分布实现标签分布的预测。

图3 基于因果建模的模型推理流程

实验效果

可视化结果表明，本文结构提取模块提取到的点云结构信息（如下图左侧所示）能较好地表示物体的结构，飞机的基本外形可以从其中一眼看出；点云重建模块中重采样后的点云（如下图右侧所示）则通过更加密集的点云复原了更多原物体的局部细节信息。两部分信息的有机结合，使模型能够实现鲁棒的分类决策。

图4 本文提取的点云结构和重建点云可视化

在三种主流点云分类模型上的实验表明，项目组提出的基于因果理论的方法能够显著提升点云分类的对抗鲁棒性，结果如下表所示。同时，该方法不依赖于特定点云分类模型，可以与各种不同架构的分类模型结合，仅需轻量化的分类头微调，即可实现模型无关的点云分类对抗鲁棒性提升。

表1 多种防御方法在ModelNet40数据集上的有目标攻击成功率

团队简介

白泽智能负责人为张谧教授，隶属于杨珉教授领衔的复旦大学系统软件与安全实验室，主要研究方向为AI系统安全，包括AI供应链安全、数据隐私与模型保护、模型测试与优化、AI赋能安全等研究方向，在S&P、USENIX Security、CCS、TPAMI、ICML、NeurIPS、KDD等网络安全和AI领域国际顶会顶刊已发表论文数十篇。

张谧教授个人主页：https://mi-zhang-fdu.github.io/index.chn.html

白泽智能（Whizard AI）：https://whitzard-ai.github.io/