今天读的是一篇2023年发表在TIP上的文章,文章使用法线来解决MVS问题。
文章目录
Abstract
提出了一种由粗到细的结构,具有基于正态一致性模块(DNHC)的深度假设,以及具有可靠注意模块(DRRA)的深度细化。DNHC从具有相同法线的相邻像素收集深度假设,因此预测的深度更平滑准确,尤其是在无纹理和重复纹理区域。DRRA用于更新粗略阶段的初始深度图,它可以结合参考图像的特征和cost volume特征来提高深度估计精度并解决累积误差问题。
1 Introduction
介绍了MVS的基本流程。
2 Related Work
介绍了传统方法、基于学习的方法,并且谈到了使用到法线的深度估计方法和深度图细化的工作。
3 Method
使用DHNC来根据像素周边的像素的法线来指导深度假设的更新。
DRRA则用于进行进行深度图的优化,DRRA使用了mini-ViT来获得attentional特征,先把ref图的特征和初始深度图进行concat然后做一次卷积来减少通道数,然后交给transformer,得到的结果与原特征进行点乘。并且,还设计了一个分支对cost volume进行注意力机制的操作。
损失函数就是使用逐层的L1 loss。
4 Point-cloud Reconstruction
介绍了深度图filtering和fusion两个步骤。
5 Experiments
在不同baseline上验证了两个模块的作用,分数上也很接近SOTA。