机器人视觉项目：视觉检测识别+机器人跟随（15）

其他 2018-09-30 09:01:57 阅读次数: 0 
### kinect + winSDK代码
```

#include <windows.h>

#include <iostream> 

#include <NuiApi.h>

#include <opencv2/opencv.hpp>



using namespace std;

using namespace cv;



//通过传入关节点的位置，把骨骼画出来

void drawSkeleton(Mat &image, CvPoint pointSet[], int whichone);



int main(int argc, char *argv[])

{

    Mat skeletonImage;

    skeletonImage.create(240, 320, CV_8UC3);

    CvPoint skeletonPoint[NUI_SKELETON_COUNT][NUI_SKELETON_POSITION_COUNT]={cvPoint(0,0)};

    bool tracked[NUI_SKELETON_COUNT]={FALSE}; 



    //1、初始化NUI，注意这里是USES_SKELETON

    HRESULT hr = NuiInitialize(NUI_INITIALIZE_FLAG_USES_SKELETON); 

    if (FAILED(hr)) 

    { 

        cout<<"NuiInitialize failed"<<endl; 

        return hr; 

    } 



    //2、定义骨骼信号事件句柄 

    HANDLE skeletonEvent = CreateEvent( NULL, TRUE, FALSE, NULL );



    //3、打开骨骼跟踪事件

    hr = NuiSkeletonTrackingEnable( skeletonEvent, 0 ); 

    if( FAILED( hr ) )  

    { 

        cout<<"Could not open color image stream video"<<endl; 

        NuiShutdown(); 

        return hr; 

    }

    namedWindow("skeletonImage", CV_WINDOW_AUTOSIZE);



    //4、开始读取骨骼跟踪数据 

    while(1) 

    { 

        NUI_SKELETON_FRAME skeletonFrame = {0};  //骨骼帧的定义 

        bool bFoundSkeleton = false; 



        //4.1、无限等待新的数据，等到后返回

        if (WaitForSingleObject(skeletonEvent, INFINITE)==0) 

        { 

            //4.2、从刚才打开数据流的流句柄中得到该帧数据，读取到的数据地址存于skeletonFrame

            hr = NuiSkeletonGetNextFrame( 0, &skeletonFrame); 

            if (SUCCEEDED(hr))

            {

                //NUI_SKELETON_COUNT是检测到的骨骼数（即，跟踪到的人数）

                for( int i = 0 ; i < NUI_SKELETON_COUNT ; i++ ) 

                { 

                    NUI_SKELETON_TRACKING_STATE trackingState = skeletonFrame.SkeletonData[i].eTrackingState;

                    //4.3、Kinect最多检测六个人，但只能跟踪两个人的骨骼，再检查每个“人”（有可能是空，不是人）

                    //是否跟踪到了 

                    if( trackingState == NUI_SKELETON_TRACKED )

                    { 

                        bFoundSkeleton = true; 

                    } 

                } 

            }



             if( !bFoundSkeleton ) 

            { 

                continue; 

            } 



            //4.4、平滑骨骼帧，消除抖动

            NuiTransformSmooth(&skeletonFrame, NULL);

            skeletonImage.setTo(0);

            

            for( int i = 0 ; i < NUI_SKELETON_COUNT ; i++ )   

                {   

                    // Show skeleton only if it is tracked, and the center-shoulder joint is at least inferred. 

                    //断定是否是一个正确骨骼的条件：骨骼被跟踪到并且肩部中心（颈部位置）必须跟踪到。 

                    if( skeletonFrame.SkeletonData[i].eTrackingState == NUI_SKELETON_TRACKED &&   

                        skeletonFrame.SkeletonData[i].eSkeletonPositionTrackingState[NUI_SKELETON_POSITION_SHOULDER_CENTER] != NUI_SKELETON_POSITION_NOT_TRACKED)   

                    {   

                        float fx, fy;   

                        //拿到所有跟踪到的关节点的坐标，并转换为我们的深度空间的坐标，因为我们是在深度图像中

                        //把这些关节点标记出来的

                        //NUI_SKELETON_POSITION_COUNT为跟踪到的一个骨骼的关节点的数目，为20

                        for (int j = 0; j < NUI_SKELETON_POSITION_COUNT; j++)   

                        {   

                            NuiTransformSkeletonToDepthImage(skeletonFrame.SkeletonData[i].SkeletonPositions[j], &fx, &fy );   

                            skeletonPoint[i][j].x = (int)fx;   

                            skeletonPoint[i][j].y = (int)fy;   

                        }   

             

                        for (int j=0; j<NUI_SKELETON_POSITION_COUNT ; j++)   

                        {   

                            if (skeletonFrame.SkeletonData[i].eSkeletonPositionTrackingState[j] != NUI_SKELETON_POSITION_NOT_TRACKED)//跟踪点一用有三种状态：1没有被跟踪到，2跟踪到，3根据跟踪到的估计到   

                            {                                   

                                circle(skeletonImage, skeletonPoint[i][j], 3, cvScalar(0, 255, 255), 1, 8, 0);              

                                tracked[i] = TRUE; 

                            } 

                        } 

              

                        drawSkeleton(skeletonImage, skeletonPoint[i], i); 

                    } 

                }

            imshow("skeletonImage", skeletonImage); //显示图像 

        } 

        else 

        { 

            cout<<"Buffer length of received texture is bogus\r\n"<<endl; 

        }



        if (cvWaitKey(20) == 27) 

            break; 

    } 

    //5、关闭NUI链接 

    NuiShutdown(); 

    return 0;

}



//通过传入关节点的位置，把骨骼画出来

void drawSkeleton(Mat &image, CvPoint pointSet[], int whichone) 

{ 

    CvScalar color; 

    switch(whichone) //跟踪不同的人显示不同的颜色 

    { 

    case 0: 

        color = cvScalar(255); 

        break; 

    case 1: 

        color = cvScalar(0,255); 

        break; 

    case 2: 

        color = cvScalar(0, 0, 255); 

        break; 

    case 3: 

        color = cvScalar(255, 255, 0); 

        break; 

    case 4: 

        color = cvScalar(255, 0, 255); 

        break; 

    case 5: 

        color = cvScalar(0, 255, 255); 

        break; 

    } 



    if((pointSet[NUI_SKELETON_POSITION_HEAD].x!=0 || pointSet[NUI_SKELETON_POSITION_HEAD].y!=0) && 

        (pointSet[NUI_SKELETON_POSITION_SHOULDER_CENTER].x!=0 || pointSet[NUI_SKELETON_POSITION_SHOULDER_CENTER].y!=0)) 

        line(image, pointSet[NUI_SKELETON_POSITION_HEAD], pointSet[NUI_SKELETON_POSITION_SHOULDER_CENTER], color, 2); 

    if((pointSet[NUI_SKELETON_POSITION_SHOULDER_CENTER].x!=0 || pointSet[NUI_SKELETON_POSITION_SHOULDER_CENTER].y!=0) && 

        (pointSet[NUI_SKELETON_POSITION_SPINE].x!=0 || pointSet[NUI_SKELETON_POSITION_SPINE].y!=0)) 

        line(image, pointSet[NUI_SKELETON_POSITION_SHOULDER_CENTER], pointSet[NUI_SKELETON_POSITION_SPINE], color, 2); 

    if((pointSet[NUI_SKELETON_POSITION_SPINE].x!=0 || pointSet[NUI_SKELETON_POSITION_SPINE].y!=0) && 

        (pointSet[NUI_SKELETON_POSITION_HIP_CENTER].x!=0 || pointSet[NUI_SKELETON_POSITION_HIP_CENTER].y!=0)) 

        line(image, pointSet[NUI_SKELETON_POSITION_SPINE], pointSet[NUI_SKELETON_POSITION_HIP_CENTER], color, 2); 



    //左上肢 

    if((pointSet[NUI_SKELETON_POSITION_SHOULDER_CENTER].x!=0 || pointSet[NUI_SKELETON_POSITION_SHOULDER_CENTER].y!=0) && 

        (pointSet[NUI_SKELETON_POSITION_SHOULDER_LEFT].x!=0 || pointSet[NUI_SKELETON_POSITION_SHOULDER_LEFT].y!=0)) 

        line(image, pointSet[NUI_SKELETON_POSITION_SHOULDER_CENTER], pointSet[NUI_SKELETON_POSITION_SHOULDER_LEFT], color, 2); 

    if((pointSet[NUI_SKELETON_POSITION_SHOULDER_LEFT].x!=0 || pointSet[NUI_SKELETON_POSITION_SHOULDER_LEFT].y!=0) && 

        (pointSet[NUI_SKELETON_POSITION_ELBOW_LEFT].x!=0 || pointSet[NUI_SKELETON_POSITION_ELBOW_LEFT].y!=0)) 

        line(image, pointSet[NUI_SKELETON_POSITION_SHOULDER_LEFT], pointSet[NUI_SKELETON_POSITION_ELBOW_LEFT], color, 2); 

    if((pointSet[NUI_SKELETON_POSITION_ELBOW_LEFT].x!=0 || pointSet[NUI_SKELETON_POSITION_ELBOW_LEFT].y!=0) && 

        (pointSet[NUI_SKELETON_POSITION_WRIST_LEFT].x!=0 || pointSet[NUI_SKELETON_POSITION_WRIST_LEFT].y!=0)) 

        line(image, pointSet[NUI_SKELETON_POSITION_ELBOW_LEFT], pointSet[NUI_SKELETON_POSITION_WRIST_LEFT], color, 2); 

    if((pointSet[NUI_SKELETON_POSITION_WRIST_LEFT].x!=0 || pointSet[NUI_SKELETON_POSITION_WRIST_LEFT].y!=0) && 

        (pointSet[NUI_SKELETON_POSITION_HAND_LEFT].x!=0 || pointSet[NUI_SKELETON_POSITION_HAND_LEFT].y!=0)) 

        line(image, pointSet[NUI_SKELETON_POSITION_WRIST_LEFT], pointSet[NUI_SKELETON_POSITION_HAND_LEFT], color, 2); 



    //右上肢 

    if((pointSet[NUI_SKELETON_POSITION_SHOULDER_CENTER].x!=0 || pointSet[NUI_SKELETON_POSITION_SHOULDER_CENTER].y!=0) && 

        (pointSet[NUI_SKELETON_POSITION_SHOULDER_RIGHT].x!=0 || pointSet[NUI_SKELETON_POSITION_SHOULDER_RIGHT].y!=0)) 

        line(image, pointSet[NUI_SKELETON_POSITION_SHOULDER_CENTER], pointSet[NUI_SKELETON_POSITION_SHOULDER_RIGHT], color, 2); 

    if((pointSet[NUI_SKELETON_POSITION_SHOULDER_RIGHT].x!=0 || pointSet[NUI_SKELETON_POSITION_SHOULDER_RIGHT].y!=0) && 

        (pointSet[NUI_SKELETON_POSITION_ELBOW_RIGHT].x!=0 || pointSet[NUI_SKELETON_POSITION_ELBOW_RIGHT].y!=0)) 

        line(image, pointSet[NUI_SKELETON_POSITION_SHOULDER_RIGHT], pointSet[NUI_SKELETON_POSITION_ELBOW_RIGHT], color, 2); 

    if((pointSet[NUI_SKELETON_POSITION_ELBOW_RIGHT].x!=0 || pointSet[NUI_SKELETON_POSITION_ELBOW_RIGHT].y!=0) && 

        (pointSet[NUI_SKELETON_POSITION_WRIST_RIGHT].x!=0 || pointSet[NUI_SKELETON_POSITION_WRIST_RIGHT].y!=0)) 

        line(image, pointSet[NUI_SKELETON_POSITION_ELBOW_RIGHT], pointSet[NUI_SKELETON_POSITION_WRIST_RIGHT], color, 2); 

    if((pointSet[NUI_SKELETON_POSITION_WRIST_RIGHT].x!=0 || pointSet[NUI_SKELETON_POSITION_WRIST_RIGHT].y!=0) && 

        (pointSet[NUI_SKELETON_POSITION_HAND_RIGHT].x!=0 || pointSet[NUI_SKELETON_POSITION_HAND_RIGHT].y!=0)) 

        line(image, pointSet[NUI_SKELETON_POSITION_WRIST_RIGHT], pointSet[NUI_SKELETON_POSITION_HAND_RIGHT], color, 2); 



    //左下肢 

    if((pointSet[NUI_SKELETON_POSITION_HIP_CENTER].x!=0 || pointSet[NUI_SKELETON_POSITION_HIP_CENTER].y!=0) && 

        (pointSet[NUI_SKELETON_POSITION_HIP_LEFT].x!=0 || pointSet[NUI_SKELETON_POSITION_HIP_LEFT].y!=0)) 

        line(image, pointSet[NUI_SKELETON_POSITION_HIP_CENTER], pointSet[NUI_SKELETON_POSITION_HIP_LEFT], color, 2); 

    if((pointSet[NUI_SKELETON_POSITION_HIP_LEFT].x!=0 || pointSet[NUI_SKELETON_POSITION_HIP_LEFT].y!=0) && 

        (pointSet[NUI_SKELETON_POSITION_KNEE_LEFT].x!=0 || pointSet[NUI_SKELETON_POSITION_KNEE_LEFT].y!=0)) 

        line(image, pointSet[NUI_SKELETON_POSITION_HIP_LEFT], pointSet[NUI_SKELETON_POSITION_KNEE_LEFT], color, 2); 

    if((pointSet[NUI_SKELETON_POSITION_KNEE_LEFT].x!=0 || pointSet[NUI_SKELETON_POSITION_KNEE_LEFT].y!=0) && 

        (pointSet[NUI_SKELETON_POSITION_ANKLE_LEFT].x!=0 || pointSet[NUI_SKELETON_POSITION_ANKLE_LEFT].y!=0)) 

        line(image, pointSet[NUI_SKELETON_POSITION_KNEE_LEFT], pointSet[NUI_SKELETON_POSITION_ANKLE_LEFT], color, 2); 

    if((pointSet[NUI_SKELETON_POSITION_ANKLE_LEFT].x!=0 || pointSet[NUI_SKELETON_POSITION_ANKLE_LEFT].y!=0) &&  

        (pointSet[NUI_SKELETON_POSITION_FOOT_LEFT].x!=0 || pointSet[NUI_SKELETON_POSITION_FOOT_LEFT].y!=0)) 

        line(image, pointSet[NUI_SKELETON_POSITION_ANKLE_LEFT], pointSet[NUI_SKELETON_POSITION_FOOT_LEFT], color, 2); 



    //右下肢 

    if((pointSet[NUI_SKELETON_POSITION_HIP_CENTER].x!=0 || pointSet[NUI_SKELETON_POSITION_HIP_CENTER].y!=0) && 

        (pointSet[NUI_SKELETON_POSITION_HIP_RIGHT].x!=0 || pointSet[NUI_SKELETON_POSITION_HIP_RIGHT].y!=0)) 

        line(image, pointSet[NUI_SKELETON_POSITION_HIP_CENTER], pointSet[NUI_SKELETON_POSITION_HIP_RIGHT], color, 2); 

    if((pointSet[NUI_SKELETON_POSITION_HIP_RIGHT].x!=0 || pointSet[NUI_SKELETON_POSITION_HIP_RIGHT].y!=0) && 

        (pointSet[NUI_SKELETON_POSITION_KNEE_RIGHT].x!=0 || pointSet[NUI_SKELETON_POSITION_KNEE_RIGHT].y!=0)) 

        line(image, pointSet[NUI_SKELETON_POSITION_HIP_RIGHT], pointSet[NUI_SKELETON_POSITION_KNEE_RIGHT],color, 2); 

    if((pointSet[NUI_SKELETON_POSITION_KNEE_RIGHT].x!=0 || pointSet[NUI_SKELETON_POSITION_KNEE_RIGHT].y!=0) && 

        (pointSet[NUI_SKELETON_POSITION_ANKLE_RIGHT].x!=0 || pointSet[NUI_SKELETON_POSITION_ANKLE_RIGHT].y!=0)) 

        line(image, pointSet[NUI_SKELETON_POSITION_KNEE_RIGHT], pointSet[NUI_SKELETON_POSITION_ANKLE_RIGHT], color, 2); 

    if((pointSet[NUI_SKELETON_POSITION_ANKLE_RIGHT].x!=0 || pointSet[NUI_SKELETON_POSITION_ANKLE_RIGHT].y!=0) && 

        (pointSet[NUI_SKELETON_POSITION_FOOT_RIGHT].x!=0 || pointSet[NUI_SKELETON_POSITION_FOOT_RIGHT].y!=0)) 

        line(image, pointSet[NUI_SKELETON_POSITION_ANKLE_RIGHT], pointSet[NUI_SKELETON_POSITION_FOOT_RIGHT], color, 2); 

} 
```
### 代码解析

> 骨骼帧数据保存在NUI_SKELETON_FRAME结构体中，结构体成员：

> 时间标志字段--dwFrameNumber和liTimestamp字段标志当前记录中的帧序列信息。

> 骨骼数据段--SkeletonData[NUI_SKELETON_COUNT]定义了6个各个数据，eTrackingState字段表示当前的骨骼数据字段（枚举类型），三个状态值；dwTrackingID追踪对象的编号；

> Position（Vector4）类型字段，代表所有骨骼的中间点
Vector4typedef struct _Vector4 {
   FLOAT x;  //X coordinate
   FLOAT y;  //Y coordinate
   FLOAT z;  //Z coordinate
   FLOAT w;  //W coordinate
} Vector4;

> SkelenPositions[20] --20 个关节点的空间位置信息，每一个关节点有类型为Vector4的位置属性，通过XYZ三个值描述关节点的位置。

> SkeletonPositionTrackingState[20]跟踪骨骼的评价参数
NUI_SKELETON_POSITION_INDEX:20个关节点数据的保存序号

> 代码中的平滑处理NuiTranformSmooth(&skelentonFrame,NULL)

> 还有一个重要的函数 空间坐标转换
NUiTransformSkeletonToDepthImage(pSkel->SkeletonPositiona[i], &fx,&fy)
深度图像数据和猜测图像数据图上的位置不严格意义对应，骨骼数据的坐标又和深度图像和彩色图像的不一样。所以就存在了彩色坐标空间、深度坐标空间、骨骼坐标空间和你的UI坐标空间四个不同的坐标空间，不同的坐标系之间的位置坐标转换。

猜你喜欢

转载自blog.csdn.net/Synioe/article/details/82837137
今日推荐
《美国对全球网络空间安全与发展的威胁和破坏》报告发布
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
周排行
让自己的头脑极度开放
CentOS 6.5(x64) 和Redhat6.5操作系误删libc
高可用注册中心
【日记】12.28/【题解】AtCoder AGC041
XML（5）_XML 约束_DTD
Java集合Map（四）
树梅派安装桌面环境教程
pipenv 的 使用和安装
小程序白屏问题和内存研究
C语言简单选择排序
每日归档
更多
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022