一、论文
《A High-Quality Denoising Dataset for Smartphone Cameras》
在过去的十年中，天文学发生了巨大的变化，从使用单反相机和傻瓜相机拍摄的图像转变为使用智能手机相机拍摄的图像。 由于小光圈和传感器尺寸，智能手机图像比DSLR图像具有更大的噪声。 尽管对智能手机图像进行去噪是一个活跃的研究领域，但研究界目前尚缺乏一种能代表来自具有高质量地面真相的智能手机相机中真实噪点图像的去噪图像数据集。 我们在本文中通过以下贡献解决了这个问题。 我们提出了一种系统的程序，用于估计嘈杂图像的地面真实性，可用于对智能手机相机的降噪性能进行基准测试。 使用此过程，我们使用五个有代表性的智能手机摄像头，在不同光照条件下从10个场景中捕获了约30,000个噪点图像的数据集–智能手机图像降噪数据集（SIDD），并生成了地面真实图像。 我们使用此数据集对许多降噪算法进行基准测试。 我们证明，在高质量数据集上进行训练时，基于CNN的方法比在使用其他策略（例如用作地面真实数据代理的低ISO图像）进行训练时效果更好。
贡献这项工作为智能手机降噪研究建立了急需的图像数据集。 为此，我们提出了一种系统的过程，用于估计真实噪声图像的地面真实性，可用于对智能手机图像上的降噪性能进行基准测试。 使用此过程，我们使用五个有代表性的智能手机相机捕获了约30,000个真实噪声图像的数据集，并生成了其地面真实图像。 使用我们的数据集，我们对许多降噪方法进行了基准测试，以衡量各种方法的相对性能，包括基于补丁的方法和最新的基于CNN的技术。 从这一分析中，我们表明，对于基于CNN的方法，与传统的替代方法（例如低ISO图像）相比，使用地面真实数据可以显着提高收益。
二、方法
4.1 缺陷像素校正
缺陷像素可能会影响地面真实性估计的准确性，因为它们不遵守在正常像素位置产生噪声的相同基础随机过程。 我们考虑两种缺陷像素：（1）产生比预期高的信号读数的热像素； （2）产生完全饱和信号读数的残留像素。 我们通过应用中值滤波器消除此类噪声来避免更改图像内容，而应采用以下步骤。
首先，为了检测每个相机传感器上的缺陷像素的位置，我们在无光照的环境中捕获了500张图像。 我们记录表示为xa的均值图像，然后在均值图像xa中的像素分布上估计均值为µdark和标准偏差为σdark的高斯分布。 理想情况下，µdark将是传感器的暗电平，而σdark将是暗电流噪声的电平。 因此，我们将强度值在N（μdark，σdark）的99.9％置信区间之外的所有像素视为缺陷像素。
我们使用累积分布函数（CDF）的加权最小二乘（WLS）拟合来估计像素的基本高斯分布。 我们使用WLS来避免离群值（即缺陷像素）的影响，离群值可能占相机传感器总像素的2％。 而且，与缺陷像素相比，非缺陷像素的值通常具有小得多的方差。 这导致我们使用加权方法来稳健地估计基础分布。
图4：在存在缺陷像素的一系列低光图像上计算出的均值图像（c），以及对缺陷像素进行了校正的相应地面实况（d）的示例。 （a）中显示了序列中的图像之一，（b）中则放大了图像。
在检测到有缺陷的像素位置后，我们使用双三次插值法来估计此类位置处的正确强度值。 图4显示了地面真实图像的示例，其中我们将缺陷像素校正方法与直接估计的均值图像进行比较。 在我们使用的相机中，有缺陷像素的百分比范围为像素总数的0.05％到1.86％。
4.2 强度对准
尽管成像环境受控，但由于潜在的硬件不精确性，仍需要考虑场景照明和相机曝光时间的微小变化。 为了解决这个问题，我们首先估算平均值（a）低光噪声图像（b）从（a）放大区域（c）像素缺陷的平均图像（d）像素缺陷的地面真实度校正了 序列中的所有图像，其中μi是图像i的平均强度。 然后，我们计算所有µi分布的均值µa和标准偏差σa，并将99.9％的置信区间N（µa，σa）之外的所有图像视为离群值，并将其从序列中删除。
最后，我们重新计算µa，并通过将所有图像移动到相同的平均强度来进行强度对齐：xi = xi-µi + µa。 （4）我们在整个数据集中发现的异常图像总数仅为231张。 这些图像通常会因明显的亮度变化而损坏。
4.3 密集局部空间对齐
图5：（a）静态平面图的一部分，其中基准点成像在无振动的光学平台上。 对于（b）iPhone 7和（c）Google Pixel，显示了在500张图像序列中，第一张和最后一张（第500张）图像之间观察到和测量到的像素漂移的颤动图。 （d）在合成了（b）的局部像素漂移之后，用全局2D翻译替换局部对齐技术以对齐图像序列的效果。 在根据相机设备估算的NLF的β1参数范围合成信号相关的噪声之后，我们应用了这两种技术。
使用智能手机捕获图像序列时，我们观察到图像内容在图像序列上的明显变化。 为了进一步检查该问题，我们将智能手机放在振动控制的光学平台上（以排除环境振动），并用固定基准对平面场景进行成像，如图5a所示。 我们在500张图像的序列上跟踪了这些基准，以揭示一个空间变化的图案，看起来像是镜头同轴偏移和径向失真的组合，如图5b（iPhone 7）和图5c（Google Pixel）所示。 通过类似的实验，我们发现DSLR相机不会产生这种畸变或移位。
在进一步调查中，我们发现这是由于无法通过API调用或由于它是基础相机硬件的一部分而禁用的光学图像稳定（OIS）引起的。 2结果，我们必须在估计地面真实图像之前对所有图像进行局部密集对齐。 为此，我们采用以下方法对嘈杂的图像进行稳健的局部对齐（我们对序列中的每个图像都重复此过程）：
1.选择一个图像外部参照作为参考，以对图像中的所有其他图像进行对齐。 序列。
2.将每个图像分成大小为512×512像素的重叠块。 我们选择足够大的色块来解决图像中较高的噪点； 补丁越大，我们对本地翻译向量的估计就越准确。 我们将这些补丁的中心表示为目标地标，我们将其用于下一个注册步骤。
3.使用精确的基于傅立叶变换的方法[17]从参考图像xref估计每个图像xi中每个块相对于相应块的局部平移矢量。 通过这种方式，我们可以获得每个图像的源地标。
4.具有从每个图像xi中的源地标到参考图像xref中的目标地标的对应局部平移矢量，我们基于任意地标对应关系[3]应用2D薄板样条图像变形，以对齐每个图像 参考图像。 我们发现我们采用的技术比将未对准问题视为全局2D翻译要精确得多。
图5d显示了用全局2D翻译替换我们的局部对齐技术的效果。我们对一系列合成图像应用了技术，这些图像包括合成的局部像素移位和信号相关的噪声。 合成的局部像素偏移与从真实图像测量的偏移相同（图5b和5c）。 合成噪声基于相机设备估计并使用Camera2 API提取的NLF参数（β1和β2）。 与2D全局对齐方式相比，我们的局部对齐技术在一定范围的实际噪声水平上始终可产生更高的PSNR值。
在我们的地面真实性估计流水线中，我们将所有图像按顺序扭曲到参考图像中，我们希望对其进行估计。 为了估计序列中另一幅图像的地面真实性，我们以该图像为参考重新应用空间对齐过程。 这样，我们对数据集中的每个图像都有不同的基本事实。
4.4 可靠的平均图像估计
一旦图像对齐，下一步就是估计平均图像。 由于光照不足或曝光过度像素的削波效应，直接均值将存在偏差[13]。 为了解决这个问题，我们提出了一种健壮的技术来解决这种削波效应。 考虑整个N幅图像序列中位置j处像素的所有观察结果，表示为
由于传感器的最小和最大测量极限，我们需要严格审查存在该检查结果的像素的基本无噪声值
。 结果，不是简单地计算
的平均值，而是应用以下方法对
进行鲁棒估计：
1、在归一化线性rawRGB空间中删除强度等于0或1的可能被删失的观测值：
2、将
的经验累积分布函数（CDF）定义为：
3、定义正态分布的参数累积分布函数，其均值
和标准偏差
为：
4、定义一个目标函数，该函数表示
之间的平方误差的加权和为：
在这里我们选择权重wt来表示凸函数，以便权重补偿拟合的CDF值的方差，其在均值附近最低，而在分布的尾部最高：
5、通过最小化等式9估算
的均值
和标准偏差
：
使用无导数单纯形搜索方法[20]。
图6：用于估计平均图像的方法（a）在一定数量的图像上和（b）在信号相关噪声的第一参数（β1）上的方法之间的比较。 采用的方法是对CDF进行WLS拟合并进行检查，从而产生最低的MSE。
为了评估我们采用的WLS方法估计受强度剪切影响的平均图像，我们对添加了合成噪声并应用强度剪切的合成图像进行了实验。 我们使用从真实图像估计的NLF参数来合成噪声。 然后，我们应用我们的方法来估计平均图像。 我们将结果与带审查的最大似然估计（MLE）进行了比较，后者通常用于审查数据回归，如图6所示。我们在一定数量的图像（图6a）和一系列合成NLF上重复了该实验 （图6b）。 作为参考，我们绘制了在应用强度限幅之前（绿线）和之后（黑线）直接计算平均图像的误差。 我们采用的WLS方法比MLE实现的误差要低得多，几乎与裁剪前直接计算平均图像的误差一样低。
图7：（a）我们的地面真实图像中的噪声水平与[25]针对五个场景估计的地面真实之间的比较。 我们的地面真实情况在五分之四的图像中具有较低的噪声水平。 （b）比较我们的数据集与DND数据集中的噪声水平。
我们的SIDD数据集与DND数据集的质量为了评估与DND后处理相比，我们的管道估算的地面真相图像的质量[25]，我们要求DND的作者对我们的低/高中的五个进行后处理 -ISO映像对。 然后，我们使用[7]估计了这些图像中的固有噪声水平，并将它们与我们对相同的五个场景的地面真实情况进行了比较，如图7a所示。 在五分之四的图像中，我们的管线产生的噪声水平较低，因此图像质量更高。另外，图7b显示了与DND数据集相比，我们的数据集中的噪声水平分布。 我们的数据集中的噪声水平范围更广，使其成为在不同成像条件下进行测试的更全面的基准，并且对于智能手机相机图像更具代表性。
三、学习资料