Denoise: from image to point cloud

在掠读ICCV2019论文集的过程中，读到Total Denoising: Unsupervised Learning of 3D Point Cloud Cleaning，觉得这篇文章在写作上写的很漂亮，并且把 Denoise 问题的脉络介绍的详细清晰。因此在这里基于这篇文章对 Denoise做一个领域梳理。

这篇文章的风格是由一个相关领域的相关工作(image denosier) 拓展到本领域（point cloud denoise），写作上，先进行原领域的建模与理论介绍，然后指出原领域和本领域的区别与迁移难点（unstructed noise），最后完成方法的描述。值得学习。

image denoise

定义： An observation $y_i$ at pixel $i$ in a noise corrupted image is a sample of a noise distribution $y_i ∼ p(z|x_i)$ around the true value $x_i$. Image denoise 就是要从观察到的具有噪音的像素值还原出真实值。

supervised

$x_i$ 是像素位置 $i$的真实像素值，作为监督信号。 $p(z|x_i)$ 是在 $x_i$ 的带噪音分布， $y$ 是随机变量，服从这一分布。 $f_\Theta$ 是以 $\Theta$ 为参数的函数， 用于估计真实值。 $l$ 是损失函数。
只需要有在这一噪音分布下的多组观察图片，即可通过监督学习的方式学习出噪音还原函数。实际中，图片的不同像素点所受到的噪音是独立同分布的，那么只需要将一张图片或一张图片的局部输入即可完成学习。

unsupervised, paired

由于真实无噪音的样本获得的成本比较高，所以 Noise2Noise[1] 提出生成某张无噪音样本的多个噪音样本（同一个分布，随机），从这些带噪音样本中学出如何去噪。

这个公式比较简单，就是给同一张图片的两个观测值，然后学从A观测值到B观测值的映射。
noise2noise在文章里给出了公式推导，最后说的是，如果用CNN去学习一堆随机噪音（同分布）之间的映射，为了使loss在这些样本间最小，最后生成的就是这个噪音分布的mean/median/mode（和loss的选择有关），于是完成了去噪。

self-supervised

Noise2Void [2] 和 Noise2Self [3] 觉得要同一张图片的多个噪音观察样本还是太麻烦，于是提出了单个噪音样本就可以学出去噪。

这公式和上面那个公式其实没什么关联，如果想从上面那个公式推演出这个公式会很confusing。这里 $f_\Theta$ 是一个还原函数，但从计算上说，它不是以 $i$ 像素位置的值为输入，估计出该位置的真实值——而是以 $i$像素邻域像素为输入，估计出 $i$ 像素位置的值：

因为像素值是图像位置相关，而噪音是与图像无关的，所以真实像素值可以被领域还原而噪音无法被还原，从而完成了去噪。
这种方法可以达到稍弱于noise2noise的效果。

用带有噪音的领域像素值来估计，我觉得这一过程是有偏差的。

point cloud denoise

点云的噪音和图片噪音有所不同。图片的每个点的位置是固定的，在噪音的影响下，只是值会发生变化。但点云的点，在噪音的影响下，可能会发生位置偏移。并且对这样的噪音样本去噪，不是要把偏移到B位置的带噪音点还原到原先的A位置，而是还原到真实surface即可。

supervised

POINTCLEANNET[4] 使用有监督的方式进行去噪，将surface上离噪音点最近的点作为监督信号。

unpaired

读不懂了…point cloud名词太多 一时半会儿读不懂

Reference
[1] J. Lehtinen, J. Munkberg, J. Hasselgren, S. Laine, T. Karras, M. Aittala, T. Aila, “Noise2Noise: Learning Image Restoration without Clean Data,” in Proc. of ICML, 2018.
[2] Alexander Krull, Tim-Oliver Buchholz, and Florian Jug. Noise2Void - learning denoising from single noisy images. CoRR, abs/1811.10980, 2018.
[3] Joshua Batson and Lo¨ıc Royer. Noise2Self: Blind denoising by self-supervision. CoRR, abs/1901.11365, 2019.
[4] Marie-Julie Rakotosaona, Vittorio La Barbera, Paul Guerrero, Niloy J. Mitra, and Maks Ovsjanikov. POINTCLEANNET: learning to denoise and remove outliers from dense point clouds. 2019.

扫描二维码关注公众号，回复： 9523014 查看本文章