I. Introducción
La reconstrucción tridimensional visual siempre ha sido un tema de discusión en los campos de la visión por computadora y la fotogrametría, y en los últimos años se ha convertido en un tema candente de la atención de todos, como los gemelos digitales, AR y mapas de alta precisión para la conducción autónoma. . En comparación con la reconstrucción 3D con láser, la reconstrucción 3D visual tiene una desventaja en cuanto a precisión, pero la visión tiene información más rica y de bajo costo, por lo que es la solución preferida para escenas digitales 2016), openmvg (2012), openmvs, alicevison, opensfm, etc. Los representantes comerciales incluyen ContextCapture, photoscan, pix4D, realicature, etc. El principal escenario de aplicación de los representantes comerciales es principalmente para procesar datos de drones, que pueden no tener ventajas para los datos montados en vehículos, y el marco de algoritmo de código abierto aún está muy lejos de la comercialización y disponibilidad, y requiere mucho esfuerzo para optimizar .
2. ¿Por qué elegir colmap para el marco de algoritmo de código abierto?
COLMAP es una poderosa herramienta de estructura de movimiento y MVS. Es el resultado del doctorado de Schönberger en ETH. Hasta ahora, ha sido uno de los mejores marcos de código abierto, y también es el marco preferido para que los investigadores posteriores lleven a cabo trabajo relacionado. Toda su tubería El proceso es el siguiente:
El marco de reconstrucción 3D es el mismo que el slam de código abierto. Cómo elegir sus propias herramientas de aprendizaje es muy importante. Elegir la correcta evitará muchos desvíos. En términos de estructura de código, colmap está modularizado, y el código es limpio y altamente legible. Es un marco de código abierto que vale la pena leer, que sin duda es el evangelio para principiantes; al mismo tiempo, en términos de efecto de reconstrucción, en comparación con otros marcos de algoritmos de código abierto En comparación con algunos marcos comerciales, también tiene grandes ventajas.Los efectos específicos se comparan de la siguiente manera:
Escenario 1
, Escenario 2,
Escenario 3
3. Abre el camino tridimensional.
Cómo usar un marco de algoritmo de código abierto, mi resumen personal es el siguiente:
1. El primer paso debe ser ejecutar conjuntos de datos públicos, montados en vehículos, drones y registrar los efectos de diferentes métodos de disparo. Primero, hay una cognición conceptual.
2. Ejecute sus propios datos, como teléfonos móviles, imágenes tomadas por cámaras estándar, registre los problemas existentes y los bloqueos encontrados
3. Comience a leer el código para comprender las funciones de cada módulo.
4. Intente modificar un poco el código, por ejemplo, ¿cómo generar la orientación x, y, la escala extraída por sift? ¿Cómo generar qué imágenes uso cada vez que ba?
5. Trate de mejorar el código, por supuesto, lo mejor es lo basado en proyectos, por ejemplo, cómo reemplazar el tamiz con otras funciones hechas a mano o funciones aprendidas, ¿cómo restaurar la escala? ¿Cómo mejorar la robustez del sistema?
Con respecto al conjunto de datos, mi resumen personal es el siguiente:
Conjuntos de datos de uso común
1、ISPRS
https://www.isprs.org/education/benchmarks.aspx
2、sensefly
https://www.sensefly.com/education/datasets/
3、Kagaru
https://michaelwarren.info/docs/datasets/kagaru-airborne-stereo/
4、WHU
http://gpcv.whu.edu.cn/data/WHU_MVS_Stereo_dataset.html
5、KITTI
http://www.cvlibs.net/datasets/kitti/
6、ETH
https://www.eth3d.net/
7、realitycapture
https://www.capturingreality.com/SampleDatasets
8、视觉定位数据集
https://www.visuallocalization.net/datasets/
9、ODM
https://www.opendronemap.org/odm/datasets/
10、mve 官网的数据
https://www.gcc.tu-darmstadt.de/home/proj/ambient_point_clouds/apc.en.jsp
11、奥地利维也纳理工大学的Harvest4D项目(有GT）
https://harvest4d.org/?page_id=1367
12、自动化所偏古建筑
http://vision.ia.ac.cn/zh/data/index.html
13、blendedmvs
https://github.com/YoYo000/BlendedMVS
14、Drone Mapping
https://dronemapper.com/sample_data/
16、https://www.cs.cornell.edu/projects/bigsfm/#code bigsfm
4. Escenarios de aplicación de 3D visual
Acerca del curso de aprendizaje auxiliar:
puede prestar atención al video del curso de mi "Tecnología clave e implementación de análisis de código colmap de reconstrucción visual 3D". Para la introducción específica del curso, puede escanear el siguiente código QR:
