HF-Netglobal_descriptors画像記述子 ( ) と画像内の特徴点 ( keypoints) とその記述子 ( )を抽出できる畳み込みニューラル ネットワークですlocal_descriptors。前者は画像検索に使用され、後者はSuperGlue/NN他の特徴マッチング アルゴリズムによるカメラの姿勢計算に使用できます。 。したがってHF-Net、アプリケーション シナリオはSLAMマップの位置決めとポーズの回復です。
HF-Net紙のアドレス
HF-Netコードアドレス
インストール手順は次のとおりです。
(1) ソースコードのダウンロード
git clone https://github.com/ethz-asl/hfnet.git
(2) 環境の初期化
方法 1:
作者は初期化スクリプトを書きました
make install
方法 2:
ただし、環境を台無しにすることを恐れて、ここではこのスクリプトを使用するつもりはありませんUbuntu。スクリプトの内容を段階的に実行することをお勧めします。
#1.安装jupyter notebook
conda activate base
pip install jupyter
#2.创建一个虚拟环境用于HF-Net，虽然作者指定tf版本为1.12，但测试1.14也行，这里就安装1.14版本
conda create -n tf114 python=3.7
#3.把tf114虚拟环境添加到jupyter notebook中
conda activate tf114
conda install ipykernel
pip install --upgrade jupyter_client
python3 -m ipykernel install --user --name tf114 --display-name "tf114"
#4.开始配置tf114虚拟环境
conda activate tf114
pip install tensorflow_gpu==1.14.0
pip install keras==2.2.5
pip install protobuf==3.20.0
pip install pandas==1.0.0
pip install sklearn
pip install matplotlib==3.0.0
pip install numpy==1.19
pip install opencv-python==4.2.0.32
pip install scipy
pip install tqdm
pip install pyyaml
pip install flake8
pip install matplotlib
pip install protobuf
pip install sklearn
pip install pillow
pip install deepdish
#5.创建项目路径文件settings.py
cd hfnet
sh setup/setup.sh
# 运行后会让你在终端中输入两个路径：DATA_PATH和EXPER_PATH，前者是存放训练图像和预训练模型权重，后者存放 hfnet的训练输出，路径要为绝对路径，不要带~，例如我的是：
# DATA_PATH：/home/xxx/Project/python/tensorflow/hfnet/data/input
# EXPER_PATH：/home/xxx/Project/python/tensorflow/hfnet/data/output
# 路径会定义在./hfnet/settings.py文件中，后续也可以自己修改两个路径
(3) 学習済みモデルの重みをダウンロードする
ダウンロード後、解凍してsaved_modelsフォルダを指定したEXPER_PATHパスにコピーします
(4)Demoプログラムを実行する
HF-Netで抽出した特徴点のマッチング結果を素早く体感できるDemoプログラムを提供しますdemo.ipynb
cd hfnet
# 打开jupyter notebook
conda activate base
jupyter notebook
jupyter実行後、demo.ipynbファイルを開き、実行環境を独自に構成した仮想環境に変更します。tf114
次に、モデルをロードするステップをステップごとに実行します。次の図のようになれば、ロードは成功です。
最後にマッチング効果ですが、照明が大きく変化してもうまくマッチングできます。
