老规矩，先给出算法结果预览和算法flow map

该算法在VTM领域比较有影响力。VTM问题和图像TM问题最大的区别在于，对视频进行处理的时候需要考虑到时域的一致性问题。在以往的算法中，很多方法都是用一些时域的约束或者滤波来进行求解的，这就不可避免地要用到一些关于未来的帧的信息，这导致VTM问题从本质上没有办法real time执行，而只能通过post process的方法来进行。

本篇文章提出的方法很好地克服了这个问题。

4.5 local Tone curves

5 TM的滤波器设计

6 Noise-aware local contrast control

3 Approach overview

方法的流程图整个就如上图所示。

算法有三个需求：1、噪声建模（也即标题中的noise aware）。2、时域一致性。3、显示端的自适应。

算法具体也可以分为三个模块：图中的三个白框

1、边缘截止的空域滤波

2、基于local的色调映射曲线（TC）

3、基于噪声感知的图像细节控制

3.1 TM中的噪声

视频降噪算法已经是比较成熟的一个领域了。因为过高的去噪强度回引入运动模糊，所以一般来讲回使用保守的降噪，然后再color grading中手动隐藏剩余的噪声。再本文中，作者提出了一种通过噪声感知色调映射来自动化后一步（隐藏剩余噪声）的方法。

具体而言，是在计算TC，以及保留对比度和细节的时候。

为了控制噪声，需要对噪声进行建模。数码相机中噪声的方差可以建模为光强度 I 的函数

其中a和b是噪声的信号相关（光子噪声）和信号无关（读出噪声）分量的参数。这个参数一般是相机模型中给出的。

考虑到视觉系统对光的非线性敏感性（韦伯-费希纳定律），我们将在对数域中进行操作。对数域中的噪声幅度可以近似为：

然后我们观察下图

式子2描述的就是红线代表的噪声。

蓝线代表人类的视觉噪声阈值：噪声比蓝线大，则能看出来，否则是看不出来有噪声的。这条蓝线由对比度敏感度函数（CSF）在每个照明度Ld下的peak值给出。（即，CSF本身在每个Ld下都是一个独立的函数。这条蓝线是在每个Ld下，都取峰值后连起来的函数。

此外，还有一个值：人眼在（对数域）各个亮度等级下能够分辨的最小亮度差距：

其中，Ct(Ld) = 1 / CSF(Ld)

3.2 显示端的适应性

这一节考虑到环境光会降低屏幕的显示对比度。用了一个模型来进行修正（这是显示端的后处理了）

其中Ld输出亮度，L'是像素值，γ是伽马值，Lmax是峰值显示亮度，Lblack是黑电平，Lrefl是照到显示器表面的环境光，近似如下：

其中Eamb是环境光强度（lux），k是显示面板的反射率。

4 TC

本文用到的TC是基于local的TC。

为了解析化这个问题，将TC参数化为一个具有多个节点的分段线性函数，如下图：

注意坐标轴中的亮度值是对数域的。每个节点由(lk, vk)表示，lk表示输入的HDR亮度，vk表示输出的显示亮度。每个节点之间在对数域的l轴上的差值为δ，本文中为0.2。简单起见，将v的最大值固定为0，最小值r随动态范围变化。r可以结合公式4计算：

4.1 对比度失真

由TM引入的失真其实主要是对比度失真。本文中提出的方法希望能最小化图像的对比度失真。

用 $G$ 表示输入图像对比度，用 $\widetilde{G}$ 表示TM后的图像对比度。

最简单的情况下，G可以用相邻两个像素之间的差来描述。对于每个输入的亮度level，可以像图4中画出一个直方图，用来表示G的分布 $p(G|l)$ （但和图四不同，图四是亮度的直方图，我们要画的是对比度的直方图）。然后可以用下式表示由于TM而导致的对比度失真。

积分符号比较抽象，看作Σ符号比较好理解。

上述的两层积分中，内部积分表示了在特定亮度l下的所有的可能的对比度失真之和，而外部积分则在所有输入亮度上进行这种求和。对于自然图像，在一般情况下，对比度分布与局部背景亮度 l 无关，因此我们可以假设 p(G|l) = p(G)。如果我们使用分段线性色调曲线将上述方程离散化，我们可以将片段 k 的失真对比度表示为

其中sk是图4中分段的色调曲线的斜率

用8和9将式子7离散化，则可以写为

在上面的式子里，p(lk)就可以用图4中的对数域亮度直方图来进行计算。

4.2 最优化问题

对比度失真由式子10定义，那么后面就是要最小化这个式子式子10，又由于对比度G是图像本身的属性，我们没办法对其进行最优化，所以最优化问题写作：

约束：

第一个约束保证TC单调，第二个确保TC不会映射出一个过大的动态范围

从式子11中看出，这个最小化问题只和s1~sk有关，和G无关，那么就可以转化为最小化整个式子的前一部分，也就是下面的函数：

这里的'引号只是一个记号，不是导数！！！

这个问题是可以求解析解的：

但是这个解析解可能求出来负数斜率。解决办法是将概率 p(lk) 小于某个阈值的那些段的斜率设置为 0。

但是这里lk仍然无法求解。

将第一个约束带进式14，可以得到

这个不等式没办法直接求解（因为两边都有p(li)），而且如果某个p(li)=0，直接就崩了。

解决方法是……直接throw out这些片段，只计算p(li) 大于某个阈值的情况

其中 |Ωt|是集合 Ωt 的基数。

当迭代求解这个问题得时候，先让p0 = 0.0001，然后根据式子16和17计算p1，一直到式子收敛，并将整个曲线分为0斜率和正斜率的片段。

4.3 噪声和内容感知的TC

这一步计算p（lk）

在上一部分中，我们假设概率 p(lk) 对应于图像中给定强度值的频率（取自图像直方图）。然而，这并不是图像中特定强度级别重要性的理想估计值。例如，如果图像的大部分包含均匀的表面，例如一面白墙，由于直方图中产生的峰值，相应的 p(lk) 值将很高。由于平面通常不是图像中最显着的部分，因此为它们分配高重要性并为它们分配陡峭的色调曲线几乎没有意义。

同样，夜景通常包含具有大量噪点且只有很少细节的大区域。为这些区域分配动态范围将导致噪声放大并产生没有吸引力的结果。

为了解决这个问题，我们计算 p(lk) 值同时考虑了图像内容和噪声水平，为对比度变化高于噪声水平的区域分配更高的重要性。.

首先，将局部对比度估计为在高斯窗口内计算的标准差：

文中指出σ=3

然后就可以计算p(lk)了，通过：

其中

S是局部对比度高于噪声水平的所有像素的集合，Bk 是 S 的子集，其中包含特定直方图 bin k 内的像素。在实践中，这种方法将受传感器读出噪声影响的暗区移向暗色调，使其不那么明显。也可以避免在大的均匀区域中过度拉伸对比度。

上面提出的噪声感知图像对比度测量可以被认为是图像显着性的简单测量。也可以替换为其它的显着性计算技术。

4.4 时间一致性

对VTM任务来说，闪烁是老生常谈的问题了。

在这个算法中，会引入闪烁的其实只有TC。

所以对TC曲线的每个节点(vk)在时域上进行低通滤波（文中用到的是3抽头IIR低通滤波器）。还是用时间边缘截止滤波器来保留尖锐的时间变换（比方说，闪烁的灯）

4.5 local Tone curves

也就是说，对图像中不同的区域，要计算不同的TC。

下面分别是用global和local的TC生成的帧：

具体的思路就是，先将图像分为5个方块，然后根据式子18~21计算这个方块t内的pt(lk)。这个pt(lk)和前面的p(lk)以0.1，0.9的系数混合起来，然后就可以计算局部的TC了。

为了将局部色调曲线应用于图像，色调曲线值在相邻图块之间进行插值，以便在单个全局色调的情况下执行 3D 查找而不是典型的 1D 查找-曲线。

5 TM的滤波器设计

本节的目的是为了提取base layer和detail layer层。

原先的算法中通常使用一些经典的图像滤波器来提取两个layer，比如双边滤波器。但是实际上细节提取和噪声滤波是不一样的两件事情：主要是因为图像的细节尺度通常是比噪声的尺度大很多的，而细节层对过滤伪影高度敏感，其中沿边缘的行为非常关键。即使是小的伪影（在普通图像过滤中可能不可见）也可能在色调映射后变得视觉干扰，尤其是对于视频。

5.1 滤波器的构造

其中∇I(p)是像素位置p处的图像梯度，α是一个扩散系数。这个形式比较常见，文中给出的权重的定义和双边不太一样