[VSLAM] Aprendizaje del marco HF-Net (1): configure el entorno y ejecute el programa de demostración

HF-NetEs una red neuronal convolucional que puede extraer descriptores de imágenes ( global_descriptors) y puntos característicos en la imagen ( keypoints) y sus descriptores ( ). El primero se usa para la recuperación de imágenes y el segundo se puede usar para calcular la pose de la cámara con otros algoritmos de coincidencia de características. . Por lo tanto , el escenario de aplicación es el posicionamiento del mapa y la recuperación de pose.local_descriptorsSuperGlue/NNHF-NetSLAM

HF-Netdirección en papel

HF-Netdirección de código

Estos son los pasos de instalación:

(1) Descargar el código fuente

git clone https://github.com/ethz-asl/hfnet.git

(2) Inicialización del entorno

método uno:

El autor escribió un script de inicialización.

make install

Método dos:

Pero no planeo usar este script aquí, por temor a Ubuntuestropear el medio ambiente, será mejor que siga el contenido del script paso a paso.

#1.安装jupyter notebook
conda activate base
pip install jupyter
#2.创建一个虚拟环境用于HF-Net，虽然作者指定tf版本为1.12，但测试1.14也行，这里就安装1.14版本
conda create -n tf114 python=3.7
#3.把tf114虚拟环境添加到jupyter notebook中
conda activate tf114
conda install ipykernel
pip install --upgrade jupyter_client
python3 -m ipykernel install --user --name tf114  --display-name "tf114"
#4.开始配置tf114虚拟环境
conda activate tf114
pip install tensorflow_gpu==1.14.0
pip install keras==2.2.5
pip install protobuf==3.20.0
pip install pandas==1.0.0
pip install sklearn
pip install matplotlib==3.0.0
pip install numpy==1.19
pip install opencv-python==4.2.0.32
pip install scipy
pip install tqdm
pip install pyyaml
pip install flake8
pip install matplotlib
pip install protobuf
pip install sklearn
pip install pillow
pip install deepdish
#5.创建项目路径文件settings.py
cd hfnet
sh setup/setup.sh
# 运行后会让你在终端中输入两个路径：DATA_PATH和EXPER_PATH，前者是存放训练图像和预训练模型权重，后者存放 hfnet的训练输出，路径要为绝对路径，不要带~，例如我的是：
# DATA_PATH：/home/xxx/Project/python/tensorflow/hfnet/data/input
# EXPER_PATH：/home/xxx/Project/python/tensorflow/hfnet/data/output
# 路径会定义在./hfnet/settings.py文件中，后续也可以自己修改两个路径

(3) Descargue los pesos del modelo entrenado

enlace de descarga

Después de la descarga, descomprima y saved_modelscopie la carpeta a EXPER_PATHla ruta

(4) Ejecute Demoel programa

El autor proporciona un Demoprograma demo.ipynbque puede sentir rápidamente los resultados coincidentes de los puntos característicos extraídos por HF-Net.

cd hfnet
# 打开jupyter notebook
conda activate base
jupyter notebook

jupyterDespués de ejecutar, abra demo.ipynbel archivo y modifique el entorno de ejecución a su propio entorno virtual configurado.tf114

Luego ejecútelo paso a paso, qué paso cargar el modelo. Si es la siguiente imagen, la carga se realizó correctamente:

Finalmente, echemos un vistazo al efecto de combinación: se puede combinar con éxito incluso cuando la iluminación cambia drásticamente.