Active Shape Models with Stasm 接口使用

本人只是使用了stasm接口中的一部分功能，直接拿他们训练好的模型进行使用，整个结构精简过，若需要完整的stasm文件。可下在后面链接下载完整版的。

一、简介 Stasm：
1、stasm是一个c++软件包，用来定位人脸中面部的landmarks（特征点）。输入带有人脸图像，返回landmarks的位置。特征点坐标按照[x,y],[x,y]…………顺序存放在一维数组中。
2、Stasm被设计工作在大约垂直（竖直）且带有中性表情的直视的人脸。对于生气或者带有表情的将得到不好的效果。尝尝会出现下巴部位不准，即使是闭上眼睛也会标记出眼球，这个它用的算法思想有关。
3、Stasm采用的HAT(Histogram Array Transform)描述子来做模版匹配，类似与SIFT描述子。

二、测试和运行
用vs2010打开minimal.sln文件，进入工程后，假如opencv的配置环境，包括(.h,lib,和dll)，就可以运行看到效果。本人实验室用的是2.4.8版本的。这里可能需要小小的配置一下。

三、Stasm的库函数
库接口定义在stasm_lib.h文件中，landmarks的名字列在stasm_landmarks.h的头文件中。

1、简单接口:
最简单的方法：使用stasm_search_single函数，该函数使用opencv的前侧人脸检测器找到图像中最大的人脸，并且返回landmarks的位置。
人脸的宽度至少是图像宽度的10%。本人提供的demo中调用的就是这个函数。因为目前我的项目中只涉及到一张图中只有一个人脸的情况。

**2、更多用途的接口：
1）一个图像中多张人脸的标定(landmarks)
2）可以找到一些连续的接口，一致的接口。
最基本的思想是：首先调用stasm_open_image函数来检测人脸，其次重复的调用stasm_search_auto函数来一个一个地landmarks（标记）人脸。具体详情参考minimal2.cpp和stasm_lib.h中的注释。

3、multiface 参数
stasm_open_image函数中的参数multiface，如果设置为1，你可以重复地调用stasm_search_auto函数，直到图像找到图像中的所有人脸（人脸检测器能够检测到的）。
如果设置为0，stasm_search_auto函数返回一个“最好”的人脸，通常是OpenCV人脸检测器检测到的最大的人脸。**

4、用户部分初始化
在许多应用中，需要人为的手动矫正人脸上的一些点，使用stasm_search_pinned函数可以实现。
主要用在用户指定5个点：眼睛的外角（2个），鼻子的顶端（1个），和嘴角（2个）。

5、工具函数
1）stasm_convert_shape函数，例如:stasm_convert_shape(newlandmarks, 76);newlandmarks为float类型的数组，大小为2*stasm_NLANDMARKS，stasm_NLANDMARKS为默认值77。即可以改变寻找特征点的个数，一般为20，22，68，76和默认的77。对于其他值如40，则特征点全为0（不工作）。
2）stasm_face_points_into_image函数，是landmarks(标记， 特征点)在图像的边界内部。例如如果一个人的前额被图像的边缘剪切了，Stasm将会把landmarks(特征点）的位置定位在图像的边界外面。
3）stasm_printf 打印输出流，类似与printf函数，但也可以打印到文件stasm.log。如果stasm_init函数的trace参数设置为1，则输出stasm.log日志文件。

四、注意人脸检测实现
对于左侧人脸，OpenCV经常会检测不到，因为人脸太过于靠近图像的边缘。
对于左侧图像，Stasm通过人工增加边界1.2*1.2倍的大小，这样可以简单的人脸，但是也降低了检测的速度。
对于左侧人脸，OpenCV经常会检测不到，因为人脸太过于靠近图像的边缘。

对于左侧图像，Stasm通过人工增加边界1.2*1.2倍的大小，这样可以简单的人脸，但是也降低了检测的速度。

五、stasm_landmarks.h文件内的landmarks的名字:

enum stasm_LANDMARKS_77 // stasm77 landmarks
{
    L_LTemple,          // 00
    L_LJaw01,           // 01
    L_LJawNoseline,     // 02 nose line on left jaw
    L_LJawMouthline,    // 03 mouth line on left jaw
    L_LJaw04,           // 04
    L_LJaw05,           // 05
    L_CTipOfChin,       // 06
    L_RJaw07,           // 07
    L_RJaw08,           // 08
    L_RJawMouthline,    // 09
    L_RJawNoseline,     // 10
    L_RJaw11,           // 11
    L_RTemple,          // 12
    L_RForehead,        // 13
    L_CForehead,        // 14
    L_LForehead,        // 15
    L_LEyebrowTopInner, // 16
    L_LEyebrowTopOuter, // 17
    L_LEyebrowOuter,    // 18
    L_LEyebrowBotOuter, // 19
    L_LEyebrowBotInner, // 20
    L_LEyebrowInner,    // 21
    L_REyebrowInner,    // 22
    L_REyebrowTopInner, // 23
    L_REyebrowTopOuter, // 24
    L_REyebrowOuter,    // 25
    L_REyebrowBotOuter, // 26
    L_REyebrowBotInner, // 27
    L_REyelid,          // 28
    L_LEyelid,          // 29
    L_LEyeInner,        // 30
    L_LEye31,           // 31
    L_LEyeTop,          // 32
    L_LEye33,           // 33
    L_LEyeOuter,        // 34
    L_LEye35,           // 35
    L_LEyeBot,          // 36
    L_LEye37,           // 37
    L_LPupil,           // 38
    L_RPupil,           // 39
    L_REyeInner,        // 40
    L_REye41,           // 41
    L_REyeTop,          // 42
    L_REye43,           // 43
    L_REyeOuter,        // 44
    L_REye45,           // 45
    L_REyeBot,          // 46
    L_REye47,           // 47
    L_RNoseMid,         // 48
    L_CNoseMid,         // 49
    L_LNoseMid,         // 50
    L_LNostrilTop,      // 51
    L_CNoseTip,         // 52
    L_RNostrilTop,      // 53
    L_RNoseSide,        // 54
    L_RNostrilBot,      // 55
    L_CNoseBase,        // 56
    L_LNostrilBot,      // 57
    L_LNoseSide,        // 58
    L_LMouthCorner,     // 59
    L_LMouth60,         // 60
    L_LMouthCupid,      // 61
    L_CTopOfTopLip,     // 62
    L_RMouthCupid,      // 63
    L_RMouth64,         // 64
    L_RMouthCorner,     // 65
    L_RMouth66,         // 66
    L_CBotOfTopLip,     // 67
    L_LMouth68,         // 68
    L_LMouth69,         // 69
    L_CTopOfBotLip,     // 70
    L_RMouth71,         // 71
    L_RMouth72,         // 72
    L_RMouth73,         // 73
    L_CBotOfBotLip,     // 74
    L_LMouth75,         // 75
    L_LMouth76          // 76
};

六、测试程序
该程序直接调用摄像头，实时观察人脸五官的定位。也可以自己修改一下读取图片进行处理。

// minimal.cpp: Display the landmarks of a face in an image.
//              This demonstrates stasm_search_single.

#include <stdio.h>
#include <stdlib.h>
#include "opencv/highgui.h"
#include "opencv2/objdetect/objdetect.hpp"  
#include "opencv2/highgui/highgui.hpp"  
#include "opencv2/imgproc/imgproc.hpp"  
#include <iostream>  
#include <stdio.h>  
#include <opencv2/core/core.hpp>   
#include "stasm_lib.h"
#include <core/core.hpp>
#include <direct.h>  
#include <crtdbg.h>
#include "stasm_landmarks.h"
using namespace cv ;

int main()
{
    VideoCapture capture(0);
    if (!capture.isOpened())
    { 
        printf("打开摄像头失败");
        return -1;
    }//检测是否成功打开摄像头
    Mat img2;
    while (1)
    {
        static const char* const path = "../data/testface.jpg";
        capture>> img2;
        if (!capture.read(img2))//这个判断的必须的
        {
            break;
        }
        Mat gray;
        Mat img;
        cvtColor(img2,img,CV_BGR2GRAY,0);
        if (waitKey(30) >= 0)//刷新间隔30ms，按任意键退出
            break;
        int foundface;
        float landmarks[2 * stasm_NLANDMARKS]={0}; // x,y coords (note the 2)
        if (!stasm_search_single(&foundface, landmarks,(const char*)img.data, img.cols, img.rows, path, "../data"))
        {
            printf("Error in stasm_search_single: %s\n", stasm_lasterr());
            exit(1);
        }
        if (!foundface)
            printf("No face found\n");
        else
        {
            stasm_force_points_into_image(landmarks, img.cols, img.rows);//坐标在范围限制
            for (int i = 0; i <stasm_NLANDMARKS; i++)
            {  
                circle(img2,Point(cvRound(landmarks[i*2]),cvRound(landmarks[i*2+1])),3,CV_RGB(255,255,255),1,8, 0);
            }
#if 0
            float pinned[2 * stasm_NLANDMARKS]; // x,y coords  
            memset(pinned, 0, sizeof(pinned));//初始化一个pin空间和stasm_NLANDMARK一样大  
            pinned[L_LEyeOuter*2]      = landmarks[L_LEyeOuter*2] + 2;  
            pinned[L_LEyeOuter*2+1]    = landmarks[L_LEyeOuter*2+1];  
            pinned[L_REyeOuter*2]      = landmarks[L_REyeOuter*2] - 2;  
            pinned[L_REyeOuter*2+1]    = landmarks[L_REyeOuter*2+1];  
            pinned[L_CNoseTip*2]       = landmarks[L_CNoseTip*2];  
            pinned[L_CNoseTip*2+1]     = landmarks[L_CNoseTip*2+1];  
            pinned[L_LMouthCorner*2]   = landmarks[L_LMouthCorner*2];  
            pinned[L_LMouthCorner*2+1] = landmarks[L_LMouthCorner*2+1];  
            pinned[L_RMouthCorner*2]   = landmarks[L_RMouthCorner*2];  
            pinned[L_RMouthCorner*2+1] = landmarks[L_RMouthCorner*2+1];  
            memset(landmarks, 0, sizeof(landmarks));//将landmarks重置为0  
            if (!stasm_search_pinned(landmarks,pinned, (const char*)img.data, img.cols, img.rows, path))  
                printf("Nooooooooooooooooooooooooooooooooo");
            for (int i = 0; i <stasm_NLANDMARKS; i++)
            {  
                circle(img2,Point(cvRound(landmarks[i*2]),cvRound(landmarks[i*2+1])),3,CV_RGB(255,0,255),1,8, 0);
            }
#endif
            //  76点
#if 1
            stasm_convert_shape(landmarks, 76);
            //下巴轮廓[0~15)共15个点;
            int start=0;
            int end=15;
            for (int i = start+1; i <end; i++)
            {  
                line(img2,Point(cvRound(landmarks[i*2]),cvRound(landmarks[i*2+1])),Point(cvRound(landmarks[i*2-2]),cvRound(landmarks[i*2-1])),CV_RGB(255,255,255),1,8, 0);
            }
            ////    右眉毛[15~21)共6个点;
            start=15;
            end=21;
            for (int i = start+1; i <end; i++)
            {  
                line(img2,Point(cvRound(landmarks[i*2]),cvRound(landmarks[i*2+1])),Point(cvRound(landmarks[i*2-2]),cvRound(landmarks[i*2-1])),CV_RGB(255,255,255),1,8, 0);
            }
            line(img2,Point(cvRound(landmarks[end*2-2]),cvRound(landmarks[end*2-1])),Point(cvRound(landmarks[start*2]),cvRound(landmarks[start*2+1])),CV_RGB(255,255,255),1,8, 0);
            //  //右眉毛[21~27)共6个点;
            start=21;
            end=27;
            for (int i = start+1; i <end; i++)
            {  
                line(img2,Point(cvRound(landmarks[i*2]),cvRound(landmarks[i*2+1])),Point(cvRound(landmarks[i*2-2]),cvRound(landmarks[i*2-1])),CV_RGB(255,255,255),1,8, 0);
            }
            line(img2,Point(cvRound(landmarks[end*2-2]),cvRound(landmarks[end*2-1])),Point(cvRound(landmarks[start*2]),cvRound(landmarks[start*2+1])),CV_RGB(255,255,255),1,8, 0);
            //左眼球[27~31)共4个点;
                start=27;
                end=31;
                for (int i = start+1; i <end; i++)
                {  
                    line(img2,Point(cvRound(landmarks[i*2]),cvRound(landmarks[i*2+1])),Point(cvRound(landmarks[i*2-2]),cvRound(landmarks[i*2-1])),CV_RGB(255,255,255),1,8, 0);
                }
                line(img2,Point(cvRound(landmarks[end*2-2]),cvRound(landmarks[end*2-1])),Point(cvRound(landmarks[start*2]),cvRound(landmarks[start*2+1])),CV_RGB(255,255,255),1,8, 0);
                //右眼球[32~36)共4个点;
                start=32;
                end=36;
                for (int i = start+1; i <end; i++)
                {  
                    line(img2,Point(cvRound(landmarks[i*2]),cvRound(landmarks[i*2+1])),Point(cvRound(landmarks[i*2-2]),cvRound(landmarks[i*2-1])),CV_RGB(255,255,255),1,8, 0);
                }
                line(img2,Point(cvRound(landmarks[end*2-2]),cvRound(landmarks[end*2-1])),Point(cvRound(landmarks[start*2]),cvRound(landmarks[start*2+1])),CV_RGB(255,255,255),1,8, 0);
            ////鼻梁[37~46)共9个点
            start=37;
            end=46;
            for (int i = start+1; i <end; i++)
            {  
                line(img2,Point(cvRound(landmarks[i*2]),cvRound(landmarks[i*2+1])),Point(cvRound(landmarks[i*2-2]),cvRound(landmarks[i*2-1])),CV_RGB(255,255,255),1,8, 0);
            }
            ////嘴外轮廓[48~60)共12个点
            start=48;
            end=60;
            for (int i = start+1; i <end; i++)
            {  
                line(img2,Point(cvRound(landmarks[i*2]),cvRound(landmarks[i*2+1])),Point(cvRound(landmarks[i*2-2]),cvRound(landmarks[i*2-1])),CV_RGB(255,255,255),1,8, 0);
            }
            line(img2,Point(cvRound(landmarks[end*2-2]),cvRound(landmarks[end*2-1])),Point(cvRound(landmarks[start*2]),cvRound(landmarks[start*2+1])),CV_RGB(255,255,255),1,8, 0);
            ////嘴2[60~66)共6个点
            start=60;
            end=66;
            for (int i = start+1; i <end; i++)
            {  
                line(img2,Point(cvRound(landmarks[i*2]),cvRound(landmarks[i*2+1])),Point(cvRound(landmarks[i*2-2]),cvRound(landmarks[i*2-1])),CV_RGB(255,255,255),1,8, 0);
            }
            line(img2,Point(cvRound(landmarks[end*2-2]),cvRound(landmarks[end*2-1])),Point(cvRound(landmarks[start*2]),cvRound(landmarks[start*2+1])),CV_RGB(255,255,255),1,8, 0);
            //左眼球
            start=68;
            end=72;
            for (int i = start+1; i <end; i++)
            {  
                line(img2,Point(cvRound(landmarks[i*2]),cvRound(landmarks[i*2+1])),Point(cvRound(landmarks[i*2-2]),cvRound(landmarks[i*2-1])),CV_RGB(0,255,255),1,8, 0);
            }
            line(img2,Point(cvRound(landmarks[end*2-2]),cvRound(landmarks[end*2-1])),Point(cvRound(landmarks[start*2]),cvRound(landmarks[start*2+1])),CV_RGB(0,255,255),1,8, 0);
            //右眼球
            start=72;
            end=76;
            for (int i = start+1; i <end; i++)
            {  
                line(img2,Point(cvRound(landmarks[i*2]),cvRound(landmarks[i*2+1])),Point(cvRound(landmarks[i*2-2]),cvRound(landmarks[i*2-1])),CV_RGB(0,255,255),1,8, 0);
            }
            line(img2,Point(cvRound(landmarks[end*2-2]),cvRound(landmarks[end*2-1])),Point(cvRound(landmarks[start*2]),cvRound(landmarks[start*2+1])),CV_RGB(0,255,255),1,8, 0);
#endif
        }
        int thickness = 1;  
        int lineType = 8;  
        cvNamedWindow("show_image",256);
        cv::imshow("show_image", img2);
    }
    return 0;
}

76点图

vs2010+opencv2+ASM 五官特征点定位源码
Active Shape Models with Stasm英文链接

欢迎志同道合着一起交流！！！
需要源码的请留言