【MSA R-CNN | MultiPoseNet 】：人体检测和关键点定位共享特征网络

1.MSA R-CNN

Multi-scale Aggregation R-CNN
MSA RCNN：该网络将关键点定位和人体目标检测整合到一个网络中。该网络的主要创新点为：MS-RoIAlign和MS-KpsNet。网络整体框架如下图所示。

Multi-scale RoIAlign Block
MS-RoIAlign：从多个不同尺度的特征图中获取人体框特征，并聚合。
原始的RoIAlign从单一的特征图上提取proposal，而MSA R-CNN中提出的MS-RoIAlign从多个尺度的空间中提取特征，而不是在单一尺度中提取。这就能提供更多的信息。如下图所示，多个尺度的特征可以增加更多的感受野，使得最终的检测和关键点定位更加准确。

Mutil-scale keypoint head network
MS-KpsNet：将MS-RoIAlign聚合后的人体proposal特征，进行人体关键点热度图预测。
如下图所示，该网络接收由MS-RoIAlign输出的人体框所在区域的特征，该网络由简单的卷积，降采样，上采样，短连接等操作组成，最终输出关键点热度图用于关键点预测。

Conclusion

本文将人体检测和关键点检测整合到一个网络中，从而减低整体的计算复杂度。MSA R-CNN已经能够将人体检测和关键点定位整合到一个端到端的网络中了，通过共用特征提取层，从而减少整体的计算量。

2.MultiPoseNet

MultiPoseNet可以联合处理人体检测、关键点定位问题。该方法利用位Pose Residual Network(PRN)实现了一种新的姿态分配方法。由于现有的基于全图作多人姿态估计的方法（openpose）存在性能上的瓶颈，而基于单人检测后的单人姿态估计方法（alphapose）随着人数的增多，处理时间暴增等问题。MultiPoseNet网络先通过对图像作全图的多人姿态估计，再结合与姿态估计共用参数层的人体检测网络得到的人体框，并结合PRN网络，最终实现多人姿态估计，均衡了时间和性能上的问题。