课程视频链接：GAMES 203课程：《三维重建和理解》
主讲老师：黄其兴，德州大学奥斯丁分校
课程主页：https://www.cs.utexas.edu/~huangqx/Games_3D_Recons_Understanding.html
推荐书目：《An Invitation to 3-D Vision》Yi Ma /《Point-based Graphics》/《Polygon Mesh Processing》
更多计算机图形学相关的学习资料请访问：
计算机图形学与混合现实在线平台GAMES: http://games-cn.org
P1 简介和(3D)扫描
1.1 简介
- 3D Vision: Pose Estimation, SfM, Multi-view Stereo
- understanding: Classification, Segmentation, Detection
- 一些大规模在线数据集：3D Warehouse, Yobi3D, 3DFront
- 2D与3D的区别：3D数据存在多种不同的表示方法，体素、网格、点云、多视图、场景图、语义分割等。
- 应用：3D mapping，Performance capture, Robotics, Autonomous Driving, Reverse Engineering
- Topics:
（1）3D Reconstruction：扫描、扫描注册、表面重建、SfM、Multi-view stereo、地图同步（与基于图的SLAM挂钩）
（2）How to represent 3D Data，Conversion between different representations
（3）How to understand 3D Data：Matching、Retrieval、Segmentation、Classification&Clustering - Numerical Optimization is important, there are plenty of optimization softwares.
- Categories of optimization models: 线性/非线性，凸的/非凸的，连续的/离散的，确定的/带不确定性的
- Optimization Examples：Bundle Adjustment，Surface Fitting，MRF Inference
- 作业： (1) Dense reconstruction; (2) Primitive Extration.
- 可能的项目主题：（1）从互联网图像进行基于图像的建模；（2）从一些真实图像进行单视图的重建。（3）用于3D表示的神经网络；（4）几何理解；（5）基于混合传感器进行重建。（6）机器人3D视觉（突出视角,NBV,机器人抓取,人-物交互,基于模型的视点规划,主动视觉,探索策略）；（7）通过优化进行结构恢复（human pose）（8）地图同步；（9）不确定性；
48 min
1.1 Scanning
- Geometry Reconstruction Pipeline
- Depth Sensing: (1) Contact; (2) Transmissive; (3) Reflective;
- Optical methods: (1) Passive (from image); (2) Active (Stereo, ToF, Triangulation)
- Pattern Design …
P2 Registration(注册，整合信息)
P3 表面重建
P4 Structure From Motion
P5 Multi-View Stereo
P6 Inverse Problems 中的地图同步
P7 点云处理
P8 网格处理
P9 3D深度学习
AlexNet给计算机视觉的深度学习研究带来了突变。