【2202.02543】ConClu：Unsupervised Learning on 3D Point Clouds by Clustering and Contrasting

1. 四个问题

1. 解决什么问题

• 无监督点云表征学习，基于对比学习
• 对比学习有两个问题：1. depend on customized strategies to mine and store negative samples（负样本选择）; 2. 不会学到 local structure

2. 用了什么方法

• 我们的方法（对比学习）：instance-level（BYOL解决问题1） + point-level clustering（解决问题2）

3. 效果如何

• 3个实验：Modelnet（92.4）， shapenetpart，S3DIS

4. 还存在什么问题？

• point-level clustering这个任务没看懂，是否可以用其它代理任务更换效果更好？

2. 论文介绍

Abstract

讲了3个方面：背景，方法，实验结果，以绿线分割

I. INTRODUCTION

第一段：讲3D point cloud的背景，有监督的缺点：需要大量标签。所以无监督应运而生。
第二段：无监督方法大体分成两种： generative or discriminative。

• Generative方法：优点：学到 high-level and structural properties，缺点：输入是不变的，因此 对rotation and translation敏感。
• discriminative models方法：优点：数据增强，输入会改变，这种方法保留了输入语义，最近被证明可以为下游任务提供丰富的潜在表示
  • 其中，以Contrastive methods又最好，但是缺点也有：1. 需要比较许多负样本，并且严重依赖于负样本的选择及其与正样本的配对[15]，[25]. 2. 此外，这些无监督学习方法大多采用全局池层来生成全局嵌入，这在一定程度上忽略了空间结构和局部信息[18]，[21]。
• 因此，提取高级语义信息并减少对对比学习负面样本的依赖是三维点云数据分析中的一个开放问题。

第三段（动机/方法/工作）：所以我们的方法来了：对比学习（不是说对比学习缺少局部 和 正负样本对选择吗？） + The point-level clustering（解决局部） + BYOL（不用选择负样本了）

• 因此，本文提出了一种无监督的三维点云表示学习方法来缓解这些问题。
• Our framework consists of instance-level contrasting and point-level clustering, and it can be applied to any off-the-shelf（现成的） network architecture
• The point-level clustering softly segments the 3D points of each point cloud into a discrete number of geometric partitions. The local features can then be learned by implementing an Expectation-Maximization [26] (EM) like algorithm.
  • 对于局部几何，我们使用的观察结果是，人类不是通过点来理解3D场景，而是通过将其组合成感知组和结构，这些感知组和结构是识别的基本构建块[27]。
  • 这一发现促使我们提出了一种端到端的软聚类方法，该方法模仿这一过程来提取有区别的局部语义信息
• The instance-level contrasting directly maximizes the similarity of the two global features extracted from two augmentations of one point cloud for the global feature learning.
  • （对比学习受BYOL和SimSiam 启发）Our instance-level contrasting, which is inspired by 2D image unsupervised approaches BYOL [15], and SimSiam [25] provides supervision to extract global geometry. The instance level contrasting excludes negative pairs in contrastive learning. ==It can be treated as a particular case of contrastive learning that only depends on the positive pairs ==

第四段：贡献总结：

II. RELATED WORK

• A. Deep learning on 3D point clouds
• B. Unsupervised representation learning on point clouds
  • Generative models（对 旋转敏感）
  • discriminative methods （缺陷：1. depend on customized strategies to mine and store negative samples; 2. 不会学到 local structure）
• 我们的方法：instance-level（解决问题1） + point-level clustering（解决问题2）
  

III. THE PROPOSED METHOD

• 整体架构：
  

  • Point-level clustering（没看懂…）
    
    • class probability prediction
      
    • label reassigning
      
      

• Instance-level contrasting architecture
  

IV. EXPERIMENTS

在ModelNet40预训练，在ModelNet40 测试？？？

SHAPENETPART

3D SEMANTIC SEGMENTATION FINE-TUNED ON S3DIS

消融实验：

实验4：聚类类别数

实验5：BATCH SIZE

实验6：模块

V. CONCLUSION

4. 收获

• 动机：From the human perspective, both the global and local shape information play vital roles in 3D point cloud understanding.
• 工作：全局（对比学习， BYOL不用负样本） + 局部（point-level clustering ？ ）
  结合了对比学习和聚类，刚好也是自己最近在看的。。。。

by jointly learning global (instance-level contrasting) and local (point-level clustering) shape information

• 基于 对比方法有缺陷：1. depend on customized strategies to mine and store negative samples; 2. 不会学到 local structure

• 我们的方法（对比学习）：instance-level（BYOL解决问题1） + point-level clustering（解决问题2）

• 作者用对比学习，观察到两个缺点：1. 负样本的选择；2. 对比学习只有global feature
  针对这两题问题解决：1. BYOL；2. point-level clustering？

实验做得挺少的，才3个：ModelNet， shapenetpart，S3DIS，说明自己也可以就做这几次实验…

主要对比方法：Jigsaw 3D[44]（还没看…）, OcCo[13], PointGLR[18]

本文提供的两个见解：
B. Unsupervised representation learning on point clouds

• Generative models（对 旋转敏感）
• discriminative methods （缺陷：1. depend on customized strategies to mine and store negative samples; 2. 不会学到 local structure）

问题：如何在对比学习的框架下补充local 信息？（对比学习只能提供global信息）（问题找的不错）

• 本文是用 点 聚类？ 的方法补充local信息（这一部分还没看懂…）（有没有更好的local方法加进去？）（最主要的贡献就在这里了吧）（涉及EM算法？）
• 对比学习BYOL的框架，不用选择负样本（global信息）…