碎碎念。
图像信号处理(ISP)的pipeline： 缺陷像素校正(defect pixel correction),去噪(denoising)，白平衡(white balance)，曝光校正(exposure correction)，去马赛克(demosaicing)，颜色转换(color transform)和伽马编码(gamma encoding)。
在ISP pipeline中执行的许多过程都是不适定的问题，因此不可能找到封闭形式的解决方案。为了克服这个问题，传统的基于模块的算法采用手工制作的基于启发式的方法来获得独立于ISP管道中其余处理的解决方案。许多基于模块的方法独立地对场景或传感器进行假设，或者两者都进行假设，从而得出手工制作的解决方案。然而，这些假设并不适用于不受控制的室外和室内环境。因此，重构后的图像质量会随着真实世界图像的变化而下降。
随着各个处理模块的残余误差在重构信号中累积，使用基于模块的算法连续地执行各种ISP过程构成了另一个主要挑战。特别地，后面的阶段必须纠正预期的处理和ISP管道中先前模块在信号中留下的残余误差。
这降低了重建图像的质量。
然而，与传统的基于模块的ISP相比，在一个步骤中执行多个处理或使用卷积神经网络(CNN)执行ISP中的所有阶段可以减少伪影(例如:彩色云纹和拉链)和重构信号中的错误积累。传统ISP中错误积累的主要原因是每个模块使用一个独立于其他模块的特定于任务的丢失函数。由于在不同的处理模块中使用的损耗函数不匹配，当我们通过传统的ISP管道时，累积误差会增加。然而，基于CNN的方法在端到端优化设置中使用单个损耗函数来优化ISP管道中涉及的整个处理过程。因此，优化最小化了测量最终输出图像重建误差的损失函数，以获得更好的图像质量。
网络如下：
正常的函数如下：
是重建后的图像，
是原始的Bayer图像，
是噪声。然后损失函数这么设计了一下
噪声
记录的图像传感器响应被各种噪声源破坏。由于在图像传感器中探测到的光子的随机变化，使得图像传感器的响应受到光子射击噪声的影响。在现代相机中，像素大小被减小以增加相机的分辨率。
然而，光子噪声随着像素尺寸的减小而增大。目前，光子噪声是影响图像质量[7]的最主要的一类噪声。该噪声分量与信号相关，与文献中广泛使用的加性高斯白噪声在去噪和去噪算法[25]的性能评价中有很大区别。在我们的评估中，我们将光子噪声建模为一个依赖于信号的噪声分量，并将其与其他噪音源分开建模，以便对我们的CNN和其他竞争方法进行实际评估。
读出噪声的产生是由于读取累积电荷和将电荷转换为数字像素值的电子效率低下。图像传感器的响应同时受到加性噪声和乘性噪声[50]的影响。
例如，光响应非均匀性噪声是乘性噪声，而固定模式噪声是加性噪声。然而，在过去，许多去噪和去噪算法仅使用加性噪声进行评估[26,30,42]。为了更真实地研究我们的基于cnn的ISP和竞争的方法，我们在一个图像捕获系统中模拟了加性噪声和乘性噪声，并将它们合并到我们的反向成像管道中。
Bayer Data怎么生成正常图片？
原始的拜耳CFA图像是由图像[16]数据库生成的。该图像集包含RGB图像和地面真实光源。我们使用基于CMOS图像传感器模型构建的内部反向ISP管道从RGB图像创建Bayer数据。首先，反向管道通过去除gamma编码对RGB图像进行线性化，并以比输入RGB图像更高的精度表示线性化后的图像。然后我们使用从我们的一个传感器获得的转换矩阵将sRGB转换为设备相关空间。然后，使用我们的反向管道来模拟三种不同的暴露条件(长、中、短)来呈现设备相关的RGB响应，并裁剪超出范围的像素。模拟了两种不同信噪比水平(25dB和30dB)的乘性噪声。将不同来源的固定模式噪声建模为加性高斯噪声。然而，为了模拟图像传感器响应沿行和列的不规则性，我们使用了行和列方向的二维正弦波，在二维正弦波上覆盖零平均高斯噪声。这近似地模拟了由于硅光感受器的不规则而引起的固定模式的噪声变化，以及沿着列和行像素元素的读出噪声。最后通过Bayer mosaic模拟器对图像进行处理，生成Bayer CFA图像。通过两种不同的噪声水平和三种不同的集成时间，我们能够从每个原始RGB图像生成6张图像。在每个图像中，放置一个灰色的球(球被安装在相机上)来获得地面真相光源。为了避免神经网络学习对灰度球进行白平衡校正和基于灰度球的曝光校正，我们对图像进行裁剪以去除灰度球。特别是，我们采用了四种不同的农作物，240×220像素的图像。这就产生了272000张不同噪音水平和不同曝光条件的原始图像(低光和强光图像)。我们将这些图像随机分配给训练(240000)、测试(16000)和验证(16000)集。
为了对每个对应的原始Bayer图像生成ground truth图像，我们对图像进行线性化处理，并使用灰度球测量得到的ground truth光源进行光照校正。这幅图像是伽马编码，以获得地面真实图像，以训练我们的CNN。
