【论文阅读】[CVPR 2022] ART-Point： Improving Rotation Robustness of Point Cloud Classifiers via Adversaria

1. 四个问题

1. 解决什么问题
   点云旋转鲁棒性问题

2. 用了什么方法解决
   将旋转后的样本当成对抗样本 一起训练
   one-step方法解决 对抗生成模型的min-max交替训练问题

3. 效果如何
   提出的旋转攻击方法 取得较高的攻击成功率
   提出的 ART-Point 框架 对 旋转和对抗性旋转 鲁棒性好，而且在clean datasets性能上超过SOTA

4. 还存在什么问题
   文中4.6. Discussions of Limitations and Society Impact ：

   1. 需要一个训练好的 模型
   2. 旋转攻击算法（效果好）， 它可能被用来攻击基于点云的三维目标检测系统，产生潜在的社会负面影响。

2. 论文介绍

图1：对抗训练方法 整个pipeline

图2：

图3：one-step 训练方法

实验结果：

旋转鲁棒性测试：

旋转攻击方法效果：

旋转攻击方法 对比：

---

1. Introduction

现在的点云分类器很容易受到攻击仅仅是将输入旋转。为了使用这些分类器我们需要将输入 对齐，然而这是很贵且耗时的操作。为此，如何提高点云分类器对任意旋转的鲁棒性，成为一个非常热门和必要的研究课题。

现在工作 解决网络对旋转输入的鲁棒性有 如下3种方法：

1. 旋转增强方法（Rotation Augmentation Methods）,治标不治本
2. 旋转不变性方法（Rotation-Invariance
   Methods），通常不变的描述符可以是距离和角度

Typical invariant descriptors can be the distance and angles between local point pairs [4, 8, 47, 48] or point norms [17, 49] and principal directions [47] calculated from global coordinates.

3. 旋转等变方法（Rotation-Equivariance Methods），通常从模式架构上设计

这些方法或者需要对输入做耗时的预处理，或者需要复杂的架构设计导致在对齐的数据集上性能受限。

While both methods (2) and (3) can effectively improve model robustness to arbitrary rotations, they either require time-consuming pre-processing on inputs or need complex architectural modifications, which will result in limited performance on clean aligned datasets

---

我们的方法：我们在点云旋转鲁棒性尝试探索一个新的技术路线。

我们的方法受启发于：adversarial training [22]

a typical defense method to improve model robustness to attacks.

想法很直接：将训练样本和生成的对抗样本（本文将旋转后的数据当作对抗样本）一起训练，这样模型遇到对抗样本就能表现正常。

The idea of adversarial training is straightforward: it augments training data with adversarial examples in each training loop. Thus adversarially trained models behave more normally when facing adversarial examples than standardly trained models.

Adversarial training （对抗性训练）在提高模型对图像或文本干扰的鲁棒性[9,11,21,34,44]方面表现出了巨大的效果，同时保持了很强的辨别能力。在3D点云中，[18,36]还成功地利用对抗性训练来抵御点云扰动，如随机点移动或移除。然而，利用对抗性训练来提高点云分类器的旋转鲁棒性的研究很少

为此，通过将旋转视为一种攻击（by regarding rotation as an attack,），我们提出了ART-Point框架，通过在具有对抗性旋转的输入上训练网络来提高旋转鲁棒性。

（对抗生成模型都有最大-最小化损失函数问题，因此不好训练）与对抗性训练的一般框架一样，ART Point形成了一个经典的最小-最大问题，其中max step找到最具攻击性的旋转，在此基础上执行min step以优化网络参数，从而实现旋转鲁棒性。

Like the general framework of adversarial training, ART-Point forms a classic min-max problem, where the max step finds the most aggressive rotations, on which the min step is performed to optimize the network parameters for rotation robustness.

对于最大化步骤，我们提出axis-wise rotation attack algorithm 找到最具对抗性的旋转样本。对比现在的旋转攻击算法直接在变换矩阵上做，我们的方法是对旋转角度做。

对于最小化步骤，遵循传统方法。

受ensemble adversarial training [38]启发，我们一步解决min-max problems而不用交替训练。

我们的模型不用抽取几何描述符和修改网络架构，在干净（对齐）的数据集上效果也很好，没有什么限制，可以集成到点云分类器种。

实验数据集：two datasets ModelNet40 [42] and ShapeNet16 [46].
使用的网络：We adopt PointNet [30], PointNet++ [31] and DGCNN [39] as the basic classifiers.

贡献：

1. 旋转攻击方法取得更高的成功率。
2. 模型对旋转更鲁棒，对 对抗性旋转也 鲁棒。
3. 在干净的数据集上性能也不会减少很多。

我们的贡献总结如下：

1. ART-Point 框架，网络修改少，不用对输入数据抽取几何描述符
2. 提出axis-wise 旋转攻击方法，提出 one-step 解决min-max问题
3. 证明 旋转攻击方法更有效，ART-Point 框架 对任意或者对抗旋转鲁棒的同时，在 clean data性能也不会影响。
   

3. 参考资料

4. 收获

• 将旋转样本当成对抗样本，用 类似生成对抗模型办法 去解决旋转鲁棒性问题是个好idea
• 对抗生成模型 要交替训练max-min loss，文中说可以一步搞定 没明白 …