五、OpenPose库OpenPose人体姿态识别项目是美国卡耐基梅隆大学（CMU）基于卷积神经网络和监督学习并以Caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人，具有极好的鲁棒性。是世界上首个基于深度学习的实时多人二维姿态估计应用，基于它的实例如雨后春笋般涌现。其理论基础来自Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields ，是CVPR 2017的一篇论文，作者是来自CMU感知计算实验室的曹哲（http://people.eecs.berkeley.edu/~zhecao/#top）,Tomas Simon,Shih-En Wei,Yaser Sheikh 。OpenPose项目Github链接：https://github.com/CMU-Perceptual-Computing-Lab/openpose。
六、传统算法传统的人体骨骼关键点检测算法基本上都是在几何先验的基础上基于模版匹配的思路来进行，核心就在于如何去用模版表示整个人体结构，包括关键点的表示，肢体结构的表示以及不同肢体结构之间的关系的表示。一个好的模版匹配的思路，可以模拟更多的姿态范围，以至于能够更好的匹配并检测出对应的人体姿态。Pictorial Structure是其中一个较为经典的算法思路，主要包含两个部分，其一是单元模版（Unary Templates），其二是模版关系（Pairwise Springs），对于模版关系，提出了著名的弹簧形变模型，弹簧形变模型，即对部件模型与整体模型的相对空间位置关系进行建模，利用了物体的一些空间先验知识，既合理约束了整体模型和部件模型的空间相对位置，又保持了一定的灵活性。在接下来的研究中，为了匹配更大的姿态范围，Yang & Ramanan提出了“mini parts”的概念，即将每个肢体结构（part）切分成更小的parts以能够模拟更多的姿态变化，从而提高模版匹配的效果。
七、人体骨骼关键点检测算法概述多人人体骨骼关键点检测主要有两个方向，一种是自上而下，一种是自下而上，其中自上而上的人体骨骼关键点定位算法主要包含两个部分，人体检测和单人人体关键点检测，即首先通过目标检测算法将每一个人检测出来，然后在检测框的基础上针对单个人做人体骨骼关键点检测，其中代表性算法有G-RMI, CFN, RMPE, Mask R-CNN, and CPN，目前在MSCOCO数据集上最好的效果是72.6%；自下而上的方法也包含两个部分，关键点检测和关键点聚类，即首先需要将图片中所有的关键点都检测出来，然后通过相关策略将所有的关键点聚类成不同的个体，其中对关键点之间关系进行建模的代表性算法有PAF, Associative Embedding, Part Segmentation, Mid-Range offsets，目前在MSCOCO数据集上最好的效果是68.7%。Coordinate、Heatmap和Heatmap + Offsets。
八、自上而下的人体关键点检测算法自上而下（Top-Down）的人体骨骼关键点检测算法主要包含两个部分，目标检测和单人人体骨骼关键点检测，对于目标检测算法，这里不再进行描述，而对于关键点检测算法，首先需要注意的是关键点局部信息的区分性很弱，即背景中很容易会出现同样的局部区域造成混淆，所以需要考虑较大的感受野区域；其次人体不同关键点的检测的难易程度是不一样的，对于腰部、腿部这类关键点的检测要明显难于头部附近关键点的检测，所以不同的关键点可能需要区别对待；最后自上而下的人体关键点定位依赖于检测算法的提出的Proposals，会出现检测不准和重复检测等现象。
九、自下而上的人体关键点检测算法自下而上（Bottom-Up）的人体骨骼关键点检测算法主要包含两个部分，关键点检测和关键点聚类，其中关键点检测和单人的关键点检测方法上是差不多的，区别在于这里的关键点检测需要将图片中所有类别的所有关键点全部检测出来，然后对这些关键点进行聚类处理，将不同人的不同关键点连接在一块，从而聚类产生不同的个体。
十、小结人体骨骼关键点定位至今仍然是计算机视觉领域较为活跃的一个研究方向，人体骨骼关键点检测算法还没有达到比较完美的效果，在较为复杂的场景下仍然会出现很多错误的检测结果。自上而下的关键点检测算法在效果上要明显好于自下而上的关键点检测算法，因为自上而下的检测方法加入了整个人体的一个空间先验。个人认为，自下而上的关键点定位算法没有显示的去建模整个人体的空间关系，而只是建模了局部的空间关系，以至于在效果上目前还远低于自上而上的关键点检测方法。
