【论文简读】NR-MVSNet:Learning Multi-View Stereo Based on Normal Consistency and Depth Refinement

今天读的是一篇2023年发表在TIP上的文章,文章使用法线来解决MVS问题。

文章链接:点此前往
代码仓库:Github

Abstract

提出了一种由粗到细的结构,具有基于正态一致性模块(DNHC)的深度假设,以及具有可靠注意模块(DRRA)的深度细化。DNHC从具有相同法线的相邻像素收集深度假设,因此预测的深度更平滑准确,尤其是在无纹理和重复纹理区域。DRRA用于更新粗略阶段的初始深度图,它可以结合参考图像的特征和cost volume特征来提高深度估计精度并解决累积误差问题。

1 Introduction

介绍了MVS的基本流程。

2 Related Work

介绍了传统方法、基于学习的方法,并且谈到了使用到法线的深度估计方法和深度图细化的工作。

3 Method

整体架构
子模块
使用DHNC来根据像素周边的像素的法线来指导深度假设的更新。
DRRA则用于进行进行深度图的优化,DRRA使用了mini-ViT来获得attentional特征,先把ref图的特征和初始深度图进行concat然后做一次卷积来减少通道数,然后交给transformer,得到的结果与原特征进行点乘。并且,还设计了一个分支对cost volume进行注意力机制的操作。
损失函数就是使用逐层的L1 loss。

4 Point-cloud Reconstruction

介绍了深度图filtering和fusion两个步骤。

5 Experiments

在不同baseline上验证了两个模块的作用,分数上也很接近SOTA。
在这里插入图片描述
在这里插入图片描述

6 Conclusion

猜你喜欢

转载自blog.csdn.net/YuhsiHu/article/details/132090390
今日推荐