【论文阅读】[ICCV 2019] Point-Based Multi-View Stereo Network. [pytorch] [rec.]

[ICCV 2019] Point-Based Multi-View Stereo Network. [pytorch] [rec.]

写在前面

基于深度学习的三维重建——MVSNet系列论文解读

MVSNet:香港科技大学的权龙教授团队的MVSNet(2018年ECCV)开启了用深度做多视图三维重建的先河.
以及最新综述:Deep Learning for Multi-view Stereo via Plane Sweep: A Survey 链接:https://arxiv.org/pdf/2106.15328.pdf
作者:北京大学,深度学习MVS领域第一篇综述论文,欢迎引用。

前置知识:MVSNet[29]。 一个数据集DTU
可以看到MVSNet是先驱,有机会先看这一篇,后续能 复现最好了。

[29] Yao Yao, Zixin Luo, Shiwei Li, Tian Fang, and Long Quan. MVSNet: Depth Inference for Unstructured Multi-view Stereo. arXiv:1804.02505 [cs], Apr. 2018.

Point-Based Multi-View Stereo Network

PointMVSNet(ICCV2019)也是2019年的改进MVSNet论文,想法是预测出深度depth信息然后和图片构成三维点云,再用3D点云的算法去优化depth的回归。后续复现其代码发现无法得到PointMVSNet论文里的精度,不知道是不是因为3D点云的算法问题。
改的MVSNet_pytorch的代码,PointMVSNet github链接:https://github.com/callmeray/PointMVSNet

我们的框架由两个步骤组成:
首先,为了从整个场景中切割出近似的物体表面,通过相对较小的三维代价体积生成初始粗糙深度图,然后将其转换为点云。
随后,我们的新PointFlow模块被应用于从初始点云迭代回归精确且密集的点云

一个启发点:迭代 修改精度? 计算复杂度会很高?

Point-MVSNet architecture

在这里插入图片描述

PointFlow module

在这里插入图片描述

4.2. Implementation details

Batch size is set to 4 on 4 NVIDIA GTX 1080Ti graphics cards

实验效果

在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/weixin_43154149/article/details/121446804