原文链接：https://mp.weixin.qq.com/s/MkEwjHVC9M1JtdzZZdmeFw
计算摄影
学会看透障碍物
论文地址：https://arxiv.org/pdf/2004.01180.pdf
本文提出了一种基于学习的方法来消除不必要的障碍物。该方法使用了多帧障碍消除算法，该算法利用了基于优化方法和基于学习方法的优势，以密集到精细的方式在密集运动估计和背景/障碍层重构步骤之间交替。通过对密集运动进行建模，可以逐步恢复各个层中的详细内容，从而将背景与不需要的遮挡层逐渐分离。第一步由流形分解组成，随后是两个后续阶段，即背景层和障碍层重构阶段，最后是光流细化。
背景抠图：世界是你的绿幕
论文地址：https://yassouali.github.io/ml-blog/cvpr2020/
将图像分为前景和背景的过程称为遮罩（matte），通常需要绿幕背景或手动创建的三图（trimap）来产生良好的遮罩，然后才能将提取的前景放置在所需的背景中。在本文中，作者建议使用捕获的背景作为真实背景的估计，然后将其用于求解前景和alpha值（即，图像中的每个像素都表示为前景和背景的组合，并带有权值alpha）。
该模型将静态自然背景前的人像图像或视频加上背景图像作为输入。然后，深层抠图网络会为给定的输入帧提取每个空间位置的前景色和alpha，并增加背景、柔和的分割以及可选的附近视频帧，此外还有指导训练以生成真实结果的判别器网络。整个模型是结合有监督的和自监督的对抗损失进行端到端训练的。
使用上下文相关的分层深度修补进行3D摄影
论文地址：https://arxiv.org/abs/2004.04727
本文的目的是从单个RGB-D图像合成输入图像中被遮挡的区域中的内容。所提出的方法包括三个步骤。
1. 首先，给定RGB-D图像，通过使用双边中值滤波器对深度和颜色输入进行滤波来应用预处理步骤，然后使用视差阈值检测原始不连续性以估计深度边缘。
2. 随后检测每个检测到的深度的上下文/合成区域。
3. 给定颜色，深度和边缘信息，最后一步包括在颜色和深度修补的指导下进行深度边缘修补，从而在GIF波纹管中看到了一个新视图
脉冲：通过生成模型的潜在空间探索进行自监督的照片上采样
论文地址：https://arxiv.org/abs/2003.03808
单图像超分辨率的目标是从低分辨率（LR）图像中输出相应的高分辨率（HR）图像。先前的方法在有监督损失下进行训练，该损失会测量真实的HR图像与模型输出之间的像素平均距离。但是，存在映射到同一LR图像的多个HR图像，并且这些方法尝试匹配真实的HR图像，输出所有可能的HR图像的每个像素的平均值，这些图像在高频区域中不包含很多细节，因此HR输出模糊。
脉冲试图从可能缩小到相同LR输入的HR图像集中找到一个可能的HR图像，并且可以以自监督的方式进行训练而无需有标签数据集，从而使该方法更加灵活和不限于特定的降级运算符。具体来说，PULSE不是遍历LR图像并慢慢添加细节，而是遍历高分辨率自然图像流形，搜索缩小到原始LR图像的图像。这是通过最小化生成器的按比例缩小的HR输出（将LR图像作为输入）与LR图像本身之间的距离度量来完成的。此外，搜索空间受到限制，以通过使用单位球面来确保生成器的输出在d 维欧氏空间作为潜在空间是逼真的。