Image Smoothing via Unsupervised Learning ---- 通过半监督学习的图像平滑

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/bla234/article/details/89279194

主要贡献

• L0-regularizer：良好的平滑效果，但会生成假边
• SGF：消除小尺度高对比的细节，保持总体的显著性结构，但是语义丰富的信息给过度平滑了
• 本文方法：平衡了color flatten和salient edge preservation，设计核心是，训练信号作为一个创新的能量函数（energy function），包括edge-preserving regularizer和spatially-adaptive L_p flatten criterion。

1. edge-preserving regularizer有助于保持重要而易损的图像结构
2. spatially-adaptive L_p flatten criterion使用不同正则项对不同的图像区域进行平滑

主要方法

• total cost function

1. d - data term缩小输入图和平滑图的差异，确保结构相似性，即计算两图所有像素的均方误差

2. 
   guidance image – edge response of an image in appearance，局部梯度幅值local gradient magnitude，即计算像素i的临近像素的绝对偏差
   

3. edge-preserving criterion – 最小化输入图与平滑图的guidance edge images，B是一个binary map，B_i=1指的是一个点
   
   
   由于定义important edges是主观的，且在不同应用间不同。对于边标记这个labor-intensive的任务，我们使用了一些边探测及标记的技术。

• dynamic spatially-variant L_p flatten critertion

1. 
   为了移除不想要的图片细节，平滑项通过惩罚临近像素的色彩差异来实现平滑效果

决定图像区域，不同的L_p正则器
使用guidance image来定义每个像素的p_i和权重，c₁和c₂是两个正值阈值，p^large=2，p^small=0.8

设置原因有两点：

1. 抑制单个regularizer造成的artifacts
   p_i和w_i,j的取值，是为了最小化energy function
   L_0.8先用，知道出现一些过度锐化的假边，这是该regularizer的piecewise constant effect
   L₂则用于suppress artifacts
   spurious structures，是假边，被定义为原图I的像素i的edge response较低但是被在输出图中被过分加强

2. 通过专门的guidance images来实现不同的应用，没有证明p值分布的收敛性，但是结果还是稳定的。
   spatial affinity：L₂和w_s用于边的抑制
   color affinity：L_0.8用于平滑

• 网络结构
  FCN，带有dilated convolution和skip connections

1. 网络概述

• 网络包括26个卷积层，所有层的卷积核都是3*3，输出64个feature maps（除了最后一层输出3通道），所有的卷积操作除了最后一层都跟着batch normalization和ReLU 函数。
• 第三个卷积层，对feature map进行下采样，通过2的步长。倒数第三个层，是一个范卷积层，用于恢复原图大小。
• 中间这20个卷积层，组成10个残差块residual blocks。

2. 通过dilated 卷积来增大感受野
   图像平滑需要广大区域的上下文信息，我们增大FCN的感受野，通过指数衰减的dilation因子。特别地，任意两个连续残差块都共享同一个dilation factor，而在下两个残差块则是双倍大小。
   这是一个有效的方法来增大感受野却不牺牲图像的分辨率，带有指数增加的dilation factors，所有在n*n网格的点都可以被指数步log(n)到达。
3. 残差图学习
   在图像平滑任务中，由于输入和输出是高度相关的。为了减轻学习，而不是直接预测一个平滑图片，我们预测了一个残差图并通过其与原始输入进行点对点相加，来产生最终的图片。这样可以避免之前算法的色彩变弱问题。

• 实现细节

4. Torch框架，小批量梯度优化（bs=1），网络权重使用何凯明的方法进行随机初始化，Adam算法用于训练，学习率设为0.01，epochs=30，在1080上花费8个小时
5. 训练集：PASCAL VOC2010,17000+张图片，有着大量不同的拍摄角度，训练时将大小裁剪为224*224来加速
6. 参数设置：
   通用设置如下，其他设置则基于应用类型进行调整。
   

• 方法分析和讨论

7. 不同优化器的视觉分析
   Adam
   IRLS
   收敛周期，视觉效果
   放大看图像，显示这两个不能很好地平滑颜色逐步变化的区域，IRLS过于锐化边，Adam会产生假性阶梯格子