Old Photo Restoration via Deep Latent Space Translation

Paper
microsoft/Bringing-Old-Photos-Back-to-Life
《通过深度潜在空间变换恢复旧照片》

• 摘要
  通过深度学习方法还原遭受严重退化的旧照片。提出一种利用真实照片和大量合成图像对的三重区域变换网络。即，训练两个变体自动编码器，将旧照片和干净照片分别转换到两个潜在空间。并使用合成的成对数据学习两个潜在空间的转换。由于区域间隙在紧凑的潜在空间中是闭合的，所以这种转换可以很好的推广到真实找。此外为了解决一张旧照片中混合的多种退化问题，设计的全局分支具有针对结构化缺陷（例如划痕和灰尘点）的非局部块，局部分支针对非结构化缺陷（例如噪声点和模糊度）。在潜在空间中融合了这两个分支，从而提高了从多个缺陷还原旧照片的能力。此外，还应用人脸优化网络来恢复旧照片中人脸的精细细节，从而最终生成具有曾倩感知质量的照片。
  

• 网络结构
  
  

• 潜在空间变换
  
  $$r_R\to y=G_y\circ T_Z\circ E_R(r)$$
  $$r\in R,x\in X,y\in Y$$
  $$E_R:R\to Z_R,G_R:Z_R\to R$$
  $$E_X:X\to Z_X,G_X:Z_X\to X$$
  $$E_Y:Y\to Z_Y,G_Y:Z_Y\to Y$$
  $$z_r\in Z_R,z_x\in Z_X,z_y\in Z_Y$$

  关系的合成

  • VAE潜在空间中的域对齐
    
    
    
  • 潜在映射
    
    
    

• 非局部模块
  
  
  
  
  公式参数：

  • F：特征图
  • m：值为0-1的二值图像

• 区域缺陷检测
  区域缺陷检测是全局分支中非局部模块中输入指导掩码m的自动检测。
  
  
  
  

• 面部增强的渐进式生成器网络
  
  
  
  

• 合成数据产生方法
  

• 结果