利用机器学习,进行人体33个2D姿态检测与评估

前几期的文章,我们分享了人脸468点检测与人手21点的代码实现过程,本期我们进行人体姿态的检测与评估

通过视频进行人体姿势估计在各种应用中起着至关重要的作用,例如量化体育锻炼,手语识别和全身手势控制,还可以在增强现实中将数字内容和信息覆盖在物理世界之上。

MediaPipe Pose是用于高保真人体姿势跟踪的ML解决方案,利用BlazePose研究成果,还从ML Kit Pose Detection API中获得了RGB视频帧的整个33个2D标志(或25个上身标志)。当前最先进的方法主要依靠强大的桌面环境进行推理,而MediaPipe Pose的方法可在大多数现代手机,,甚至是Web上实现实时性能。

 ML管道

该解决方案利用两步检测器-跟踪器ML管线,管道首先使用检测器在帧内定位人/姿势感兴趣区域(ROI)。跟踪器随后使用ROI裁剪帧作为输入来预测ROI中的姿势界标。请注意,对于视频用例,仅在需要时(即,对于第一帧)以及当跟踪器无法再识别前一帧中的人体姿势时,才调用检测器。对于其他帧,管道仅从前一帧的姿势界标中得出ROI。

人/姿势检测模型(BlazePose检测器)

该检测器的灵感来自于轻型模型,模型用于,作为器的代理。它明确预测了另外两个虚拟关键点,这些关键点将人体的中心,旋转和缩放牢牢地描述为一个圆圈。,我们预测了人的臀部的中点,外接整个人的圆的半径以及连接肩

猜你喜欢

转载自blog.csdn.net/weixin_44782294/article/details/129906591