3D Hand Pose：BiHand

论文链接：https://arxiv.org/pdf/2008.05079.pdf
论文代码：https://github.com/lixiny/bihand
论文出处：BMVC2020
研发团队：上海交通大学

1. 摘要

• 论文提出了一种端到端的学习模型：BiHand，使用单RGB图像回归出手mesh。
• BiHand包括3个练级阶段，分别为：2D seeding stage，3D lifting stage，mesh generation stage。
• 在BiHand输出端，利用网络预测的关节旋转和形状参数恢复完整的手网格。
• 在每个阶段，BiHand采用了一种新颖的分切设计（bisecting design），允许网络在一次forward pass过程中封装两种密切相关的信息(如2D seeding stage的2D关键点和轮廓，3D lifting stage，3D关节点和深度图，mesh generation stage的关节旋转和形状参数)。
• 实验在两个公开的benchmarks上进行验证，分别为Rendered Hand Dataset (RHD) 和Stereo Hand Pose Tracking Benchmark (STB)，达到SOAT水平。

• 提出的BiHand如图1所示，在2D seeding 模块（SeedNet）中，将RGB图像转换为2D几何图像；
  然后在3D lifting模块（LiftNet）中转换为3D 结构；
  最后，用基于一种新型的形状感知逆运动学网络(SIKNet)的mesh generation模块生产mesh模型。

2. 方法

2.1 Overview

• 提出的BiHand能够从RGB图像中预测 3D hand mesh。

2.1.1 SeedNet

• Bisected Hourglass Network
• Bisected hourglass意味着网络有一个编码器，两个解码器，其中编码器和解码器是相同的hourglass。
• Loss Terms：The loss function of SeedNet
  

2.1.2 LiftNet

• Loss Terms：The loss function of LiftNet