姿态估计 - Convolutional Pose Machines

0. 前言

• 相关资料：
  • arxiv
  • github
  • 论文解读，论文解读2
• 论文基本信息
  • 领域：姿态估计
  • 作者单位：卡耐基梅隆大学
  • 发表时间：2016 CVPR
• 一句话总结：（单人）姿态估计的奠基之作，使用热力图的方式表示关键点结果，使用多stage细化关键点结果，每个stage都添加loss抑制梯度消散。

1. 要解决什么问题

• 使用卷积网络解决姿态估计问题。
• 这论文比较早了，感觉类似于图像分割中的FCN。

2. 用了什么方法

• 虽然没看过，但应该有一篇论文叫 Pose Machine，CPM应该就是在Pose Machine的基础上使用卷积作为特征提取方式。
• 总体结构
  • a/b应该是pose machine的结构
    • 感觉就是定义了姿态估计问题的基本解法？
    • 每个stage都预测所有关键节点的位置，通过分类实现，类别数量为 P+1，P为关键点数量。
    • 预测的heatmap尺寸与输入图片一样。
    • 每个stage都输出关键点，随着stage的叠加，结果也越来越细化。
    • 有中间的辅助loss，可以使得抑制梯度消失的问题。
  • c/d应该是CPM的结构。
    • 从现在看，感觉也没有什么忒别的。
    • 中间有很多辅助loss
    • 每一个stage的输入都是由上一stage的输出再加上一个辅助输入叠加。
  • 

3. 效果如何

• 查看梯度消散的问题

  • 红色的是没有中间层loss的情况，黑色是有中间层loss的情况
  • 

• 对比各个stage的结果

  • 

• 性能对比（当时的sota都没有什么意义了）

  • 

4. 还存在什么问题&可借鉴之处

• 16年论文能咋看，应该是基础了吧，有用的后面会一直使用。
• 热力图的方式展示姿态估计结果，应该是很6了。
• 这是单人姿态估计的工作。