svm+hog

SVM，即支持向量机，在结合相关特征描述子之后，在目标识别，如行人识别、汽车识别、人脸识别等领域中有着重要应用。OpenCV中提供了HOG特征描述子，这种特征提供支持SVM的接口。这不再进行原理性的介绍，直接介绍如何使用opencv进行SVM+HOG训练和检测。

1、svm+hog训练

[cpp] view plain copy

print ?

1. #include <iostream>    
2. #include <fstream>    
3. #include <opencv2/opencv.hpp>  
4. #include <string>  
5.   
6. #define PosSamNO 3000    //正样本个数    
7. #define NegSamNO 3000    //负样本个数    
8. #define HardExampleNO 1000   //难例个数  
9.   
10.   
11. void train_svm_hog()  
12. {  
13.     //HOG检测器，用来计算HOG描述子的  
14.     //检测窗口(48,48),块尺寸(16,16),块步长(8,8),cell尺寸(8,8),直方图bin个数9   
15.     cv::HOGDescriptor hog(cv::Size(48, 48), cv::Size(16, 16), cv::Size(8, 8), cv::Size(8, 8), 9);    
16.     int DescriptorDim;//HOG描述子的维数，由图片大小、检测窗口大小、块大小、细胞单元中直方图bin个数决定    
17.   
18.     //设置SVM参数  
19.     cv::Ptr<cv::ml::SVM> svm = cv::ml::SVM::create();  
20.     svm->setType(cv::ml::SVM::Types::C_SVC);  
21.     svm->setKernel(cv::ml::SVM::KernelTypes::LINEAR);  
22.     svm->setTermCriteria(cv::TermCriteria(cv::TermCriteria::MAX_ITER, 100, 1e-6));  
23.   
24.     std::string ImgName;  
25.   
26.     //正样本图片的文件列表  
27.     std::ifstream finPos("positive_samples.txt");  
28.     //负样本图片的文件列表  
29.     std::ifstream finNeg("negative_samples.txt");  
30.   
31.     //所有训练样本的特征向量组成的矩阵，行数等于所有样本的个数，列数等于HOG描述子维数   
32.     cv::Mat sampleFeatureMat;  
33.     //训练样本的类别向量，行数等于所有样本的个数，列数等于1；1表示有目标，-1表示无目标   
34.     cv::Mat sampleLabelMat;  
35.   
36.   
37.     //依次读取正样本图片，生成HOG描述子    
38.     for (int num = 0; num < PosSamNO && getline(finPos, ImgName); num++)  
39.     {  
40.         std::cout << "Processing：" << ImgName << std::endl;   
41.         cv::Mat image = cv::imread(ImgName);    
42.   
43.         //HOG描述子向量   
44.         std::vector<float> descriptors;  
45.         //计算HOG描述子，检测窗口移动步长(8,8)  
46.         hog.compute(image, descriptors, cv::Size(8, 8));    
47.   
48.         //处理第一个样本时初始化特征向量矩阵和类别矩阵，因为只有知道了特征向量的维数才能初始化特征向量矩阵    
49.         if (0 == num)  
50.         {  
51.             //HOG描述子的维数   
52.             DescriptorDim = descriptors.size();   
53.             //初始化所有训练样本的特征向量组成的矩阵，行数等于所有样本的个数，列数等于HOG描述子维数sampleFeatureMat    
54.             sampleFeatureMat = cv::Mat::zeros(PosSamNO + NegSamNO + HardExampleNO, DescriptorDim, CV_32FC1);  
55.             //初始化训练样本的类别向量，行数等于所有样本的个数，列数等于1   
56.             sampleLabelMat = cv::Mat::zeros(PosSamNO + NegSamNO + HardExampleNO, 1, CV_32SC1);  
57.         }  
58.   
59.         //将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMat    
60.         for (int i = 0; i < DescriptorDim; i++)  
61.         {  
62.             //第num个样本的特征向量中的第i个元素   
63.             sampleFeatureMat.at<float>(num, i) = descriptors[i];  
64.         }  
65.         //正样本类别为1，有目标      
66.         sampleLabelMat.at<float>(num, 0) = 1;  
67.     }  
68.   
69.     //依次读取负样本图片，生成HOG描述子    
70.     for (int num = 0; num < NegSamNO && getline(finNeg, ImgName); num++)  
71.     {  
72.         std::cout << "Processing：" << ImgName << std::endl;  
73.         cv::Mat src = cv::imread(ImgName);      
74.         cv::resize(src, src, cv::Size(48, 48));  
75.         //HOG描述子向量  
76.         std::vector<float> descriptors;  
77.         //计算HOG描述子，检测窗口移动步长(8,8)   
78.         hog.compute(src, descriptors, cv::Size(8, 8));   
79.         std::cout << "descriptor dimention：" << descriptors.size() << std::endl;  
80.         //将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMat    
81.         for (int i = 0; i < DescriptorDim; i++)  
82.         {  
83.             //第PosSamNO+num个样本的特征向量中的第i个元素  
84.             sampleFeatureMat.at<float>(num + PosSamNO, i) = descriptors[i];  
85.         }  
86.   
87.         //负样本类别为-1，无目标  
88.         sampleLabelMat.at<float>(num + PosSamNO, 0) = -1;  
89.     }  
90.   
91.     //处理HardExample负样本    
92.     if (HardExampleNO > 0)  
93.     {  
94.         //HardExample负样本的文件列表   
95.         std::ifstream finHardExample("hard_samples_d.txt");   
96.         //依次读取HardExample负样本图片，生成HOG描述子    
97.         for (int num = 0; num < HardExampleNO && getline(finHardExample, ImgName); num++)  
98.         {  
99.             std::cout << "Processing：" << ImgName << std::endl;  
100.   
101.             cv::Mat src = cv::imread(ImgName, cv::IMREAD_GRAYSCALE);  
102.             cv::resize(src, src, cv::Size(48, 48));  
103.             //HOG描述子向量    
104.             std::vector<float> descriptors;  
105.             //计算HOG描述子，检测窗口移动步长(8,8)   
106.             hog.compute(src, descriptors, cv::Size(8, 8));   
107.   
108.             //将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMat    
109.             for (int i = 0; i < DescriptorDim; i++)  
110.             {  
111.                 //第PosSamNO+num个样本的特征向量中的第i个元素  
112.                 sampleFeatureMat.at<float>(num + PosSamNO + NegSamNO, i) = descriptors[i];  
113.             }  
114.             //负样本类别为-1，无目标   
115.             sampleLabelMat.at<float>(num + PosSamNO + NegSamNO, 0) = -1;   
116.         }  
117.     }  
118.   
119.     //训练SVM分类器    
120.     //迭代终止条件，当迭代满1000次或误差小于FLT_EPSILON时停止迭代    
121.     std::cout << "开始训练SVM分类器" << std::endl;  
122.     cv::Ptr<cv::ml::TrainData> td = cv::ml::TrainData::create(sampleFeatureMat, cv::ml::SampleTypes::ROW_SAMPLE, sampleLabelMat);  
123.     //训练分类器    
124.     svm->train(td);  
125.     std::cout << "训练完成" << std::endl;  
126.     //将训练好的SVM模型保存为xml文件  
127.     svm->save("SVM_HOG.xml");   
128.   
129.     return;  
130. }  

#include <iostream>  
#include <fstream>  
#include <opencv2/opencv.hpp>
#include <string>

#define PosSamNO 3000    //正样本个数  
#define NegSamNO 3000    //负样本个数  
#define HardExampleNO 1000   //难例个数


void train_svm_hog()
{
	//HOG检测器，用来计算HOG描述子的
	//检测窗口(48,48),块尺寸(16,16),块步长(8,8),cell尺寸(8,8),直方图bin个数9 
	cv::HOGDescriptor hog(cv::Size(48, 48), cv::Size(16, 16), cv::Size(8, 8), cv::Size(8, 8), 9);  
	int DescriptorDim;//HOG描述子的维数，由图片大小、检测窗口大小、块大小、细胞单元中直方图bin个数决定  

	//设置SVM参数
	cv::Ptr<cv::ml::SVM> svm = cv::ml::SVM::create();
	svm->setType(cv::ml::SVM::Types::C_SVC);
	svm->setKernel(cv::ml::SVM::KernelTypes::LINEAR);
	svm->setTermCriteria(cv::TermCriteria(cv::TermCriteria::MAX_ITER, 100, 1e-6));

	std::string ImgName;

	//正样本图片的文件列表
	std::ifstream finPos("positive_samples.txt");
	//负样本图片的文件列表
	std::ifstream finNeg("negative_samples.txt");

	//所有训练样本的特征向量组成的矩阵，行数等于所有样本的个数，列数等于HOG描述子维数 
	cv::Mat sampleFeatureMat;
	//训练样本的类别向量，行数等于所有样本的个数，列数等于1；1表示有目标，-1表示无目标 
	cv::Mat sampleLabelMat;


	//依次读取正样本图片，生成HOG描述子  
	for (int num = 0; num < PosSamNO && getline(finPos, ImgName); num++)
	{
		std::cout << "Processing：" << ImgName << std::endl; 
		cv::Mat image = cv::imread(ImgName);  

		//HOG描述子向量 
		std::vector<float> descriptors;
		//计算HOG描述子，检测窗口移动步长(8,8)
		hog.compute(image, descriptors, cv::Size(8, 8));  

		//处理第一个样本时初始化特征向量矩阵和类别矩阵，因为只有知道了特征向量的维数才能初始化特征向量矩阵  
		if (0 == num)
		{
			//HOG描述子的维数 
			DescriptorDim = descriptors.size(); 
			//初始化所有训练样本的特征向量组成的矩阵，行数等于所有样本的个数，列数等于HOG描述子维数sampleFeatureMat  
			sampleFeatureMat = cv::Mat::zeros(PosSamNO + NegSamNO + HardExampleNO, DescriptorDim, CV_32FC1);
			//初始化训练样本的类别向量，行数等于所有样本的个数，列数等于1 
			sampleLabelMat = cv::Mat::zeros(PosSamNO + NegSamNO + HardExampleNO, 1, CV_32SC1);
		}

		//将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMat  
		for (int i = 0; i < DescriptorDim; i++)
		{
			//第num个样本的特征向量中的第i个元素 
			sampleFeatureMat.at<float>(num, i) = descriptors[i];
		}
		//正样本类别为1，有目标	 
		sampleLabelMat.at<float>(num, 0) = 1;
	}

	//依次读取负样本图片，生成HOG描述子  
	for (int num = 0; num < NegSamNO && getline(finNeg, ImgName); num++)
	{
		std::cout << "Processing：" << ImgName << std::endl;
		cv::Mat src = cv::imread(ImgName);    
		cv::resize(src, src, cv::Size(48, 48));
		//HOG描述子向量
		std::vector<float> descriptors;
		//计算HOG描述子，检测窗口移动步长(8,8) 
		hog.compute(src, descriptors, cv::Size(8, 8)); 
		std::cout << "descriptor dimention：" << descriptors.size() << std::endl;
		//将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMat  
		for (int i = 0; i < DescriptorDim; i++)
		{
			//第PosSamNO+num个样本的特征向量中的第i个元素
			sampleFeatureMat.at<float>(num + PosSamNO, i) = descriptors[i];
		}

		//负样本类别为-1，无目标
		sampleLabelMat.at<float>(num + PosSamNO, 0) = -1;
	}

	//处理HardExample负样本  
	if (HardExampleNO > 0)
	{
		//HardExample负样本的文件列表 
		std::ifstream finHardExample("hard_samples_d.txt"); 
		//依次读取HardExample负样本图片，生成HOG描述子  
		for (int num = 0; num < HardExampleNO && getline(finHardExample, ImgName); num++)
		{
			std::cout << "Processing：" << ImgName << std::endl;

			cv::Mat src = cv::imread(ImgName, cv::IMREAD_GRAYSCALE);
			cv::resize(src, src, cv::Size(48, 48));
			//HOG描述子向量  
			std::vector<float> descriptors;
			//计算HOG描述子，检测窗口移动步长(8,8) 
			hog.compute(src, descriptors, cv::Size(8, 8)); 

			//将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMat  
			for (int i = 0; i < DescriptorDim; i++)
			{
				//第PosSamNO+num个样本的特征向量中的第i个元素
				sampleFeatureMat.at<float>(num + PosSamNO + NegSamNO, i) = descriptors[i];
			}
			//负样本类别为-1，无目标 
			sampleLabelMat.at<float>(num + PosSamNO + NegSamNO, 0) = -1; 
		}
	}

	//训练SVM分类器  
	//迭代终止条件，当迭代满1000次或误差小于FLT_EPSILON时停止迭代  
	std::cout << "开始训练SVM分类器" << std::endl;
	cv::Ptr<cv::ml::TrainData> td = cv::ml::TrainData::create(sampleFeatureMat, cv::ml::SampleTypes::ROW_SAMPLE, sampleLabelMat);
	//训练分类器  
	svm->train(td);
	std::cout << "训练完成" << std::endl;
	//将训练好的SVM模型保存为xml文件
	svm->save("SVM_HOG.xml"); 

	return;
}

2、svm+hog检测

[cpp] view plain copy

print ?

1. void svm_hog_detect()  
2. {  
3.     //HOG检测器，用来计算HOG描述子的    
4.     //检测窗口(48,48),块尺寸(16,16),块步长(8,8),cell尺寸(8,8),直方图bin个数9    
5.     cv::HOGDescriptor hog(cv::Size(48, 48), cv::Size(16, 16), cv::Size(8, 8), cv::Size(8, 8), 9);  
6.   
7.     //HOG描述子的维数，由图片大小、检测窗口大小、块大小、细胞单元中直方图bin个数决定   
8.     int DescriptorDim;   
9.   
10.     //从XML文件读取训练好的SVM模型  
11.     cv::Ptr<cv::ml::SVM> svm = cv::ml::SVM::load("SVM_HOG_C_H0.xml");    
12.   
13.     if (svm->empty())  
14.     {  
15.         std::cout << "load svm detector failed!!!" << std::endl;  
16.         return;  
17.     }  
18.   
19.     //特征向量的维数，即HOG描述子的维数    
20.     DescriptorDim = svm->getVarCount();  
21.   
22.     //获取svecsmat，元素类型为float  
23.     cv::Mat svecsmat = svm->getSupportVectors();  
24.     //特征向量维数  
25.     int svdim = svm->getVarCount();  
26.     int numofsv = svecsmat.rows;  
27.   
28.     //alphamat和svindex必须初始化，否则getDecisionFunction()函数会报错  
29.     cv::Mat alphamat = cv::Mat::zeros(numofsv, svdim, CV_32F);  
30.     cv::Mat svindex = cv::Mat::zeros(1, numofsv, CV_64F);  
31.   
32.     cv::Mat Result;  
33.     double rho = svm->getDecisionFunction(0, alphamat, svindex);  
34.     //将alphamat元素的数据类型重新转成CV_32F  
35.     alphamat.convertTo(alphamat, CV_32F);  
36.     Result = -1 * alphamat * svecsmat;  
37.   
38.     std::vector<float> vec;  
39.     for (int i = 0; i < svdim; ++i)  
40.     {  
41.         vec.push_back(Result.at<float>(0, i));  
42.     }  
43.     vec.push_back(rho);  
44.   
45.     //saving HOGDetectorForOpenCV.txt  
46.     std::ofstream fout("HOGDetectorForOpenCV.txt");  
47.     for (int i = 0; i < vec.size(); ++i)  
48.     {  
49.         fout << vec[i] << std::endl;  
50.     }  
51.   
52.     hog.setSVMDetector(vec);  
53.   
54.     /**************读入视频进行HOG检测******************/  
55.   
56.     cv::VideoCapture capture("video.avi");  
57.   
58.     if (!capture.isOpened())  
59.     {  
60.         std::cout << "Read video Failed !" << std::endl;  
61.         return;  
62.     }  
63.   
64.     cv::Mat frame;  
65.   
66.     int frame_num = capture.get(cv::CAP_PROP_FRAME_COUNT);  
67.     std::cout << "total frame number is: " << frame_num << std::endl;  
68.   
69.       
70.     int width = capture.get(cv::CAP_PROP_FRAME_WIDTH);  
71.     int height = capture.get(cv::CAP_PROP_FRAME_HEIGHT);  
72.       
73.     cv::VideoWriter out;  
74.   
75.     //用于保存检测结果  
76.     out.open("test result.mp4", CV_FOURCC('D', 'I', 'V', 'X'), 25.0, cv::Size(width / 2, height / 2), true);  
77.   
78.     for (int i = 0; i < frame_num; ++i)  
79.     {  
80.         capture >> frame;  
81.   
82.         cv::resize(frame, frame, cv::Size(width / 2, height / 2));  
83.   
84.         //目标矩形框数组   
85.         std::vector<cv::Rect> found, found_1, found_filtered;  
86.         //对图片进行多尺度检测  
87.         hog.detectMultiScale(frame, found, 0, cv::Size(8, 8), cv::Size(16, 16), 1.2, 2);    
88.   
89.         for (int i = 0; i<found.size(); i++)  
90.         {  
91.             if (found[i].x > 0 && found[i].y > 0 && (found[i].x + found[i].width)< frame.cols  
92.                 && (found[i].y + found[i].height)< frame.rows)  
93.                 found_1.push_back(found[i]);  
94.         }  
95.   
96.         //找出所有没有嵌套的矩形框r,并放入found_filtered中,如果有嵌套的话,  
97.         //则取外面最大的那个矩形框放入found_filtered中    
98.         for (int i = 0; i < found_1.size(); i++)  
99.         {  
100.             cv::Rect r = found_1[i];  
101.             int j = 0;  
102.             for (; j < found_1.size(); j++)  
103.                 if (j != i && (r & found_1[j]) == found_1[j])  
104.                     break;  
105.             if (j == found_1.size())  
106.                 found_filtered.push_back(r);  
107.         }  
108.   
109.         //画矩形框，因为hog检测出的矩形框比实际目标框要稍微大些,所以这里需要做一些调整，可根据实际情况调整    
110.         for (int i = 0; i<found_filtered.size(); i++)  
111.         {  
112.             cv::Rect r = found_filtered[i];  
113.             //将检测矩形框缩小后绘制，根据实际情况调整  
114.             r.x += cvRound(r.width*0.1);  
115.             r.width = cvRound(r.width*0.8);  
116.             r.y += cvRound(r.height*0.1);  
117.             r.height = cvRound(r.height*0.8);  
118.         }  
119.   
120.         for (int i = 0; i<found_filtered.size(); i++)  
121.         {  
122.             cv::Rect r = found_filtered[i];  
123.   
124.             cv::rectangle(frame, r.tl(), r.br(), cv::Scalar(0, 0, 255), 2);  
125.   
126.         }  
127.         cv::imshow("detect result", frame);  
128.   
129.         //保存检测结果  
130.         out << frame;  
131.   
132.         if (cv::waitKey(30) == 'q')  
133.         {  
134.             break;  
135.         }  
136.     }  
137.     capture.release();  
138.     out.release();  
139.     return;  
140. }  

void svm_hog_detect()
{
	//HOG检测器，用来计算HOG描述子的  
	//检测窗口(48,48),块尺寸(16,16),块步长(8,8),cell尺寸(8,8),直方图bin个数9  
	cv::HOGDescriptor hog(cv::Size(48, 48), cv::Size(16, 16), cv::Size(8, 8), cv::Size(8, 8), 9);

	//HOG描述子的维数，由图片大小、检测窗口大小、块大小、细胞单元中直方图bin个数决定 
	int DescriptorDim; 

	//从XML文件读取训练好的SVM模型
	cv::Ptr<cv::ml::SVM> svm = cv::ml::SVM::load("SVM_HOG_C_H0.xml");  

	if (svm->empty())
	{
		std::cout << "load svm detector failed!!!" << std::endl;
		return;
	}

	//特征向量的维数，即HOG描述子的维数  
	DescriptorDim = svm->getVarCount();

	//获取svecsmat，元素类型为float
	cv::Mat svecsmat = svm->getSupportVectors();
	//特征向量维数
	int svdim = svm->getVarCount();
	int numofsv = svecsmat.rows;

	//alphamat和svindex必须初始化，否则getDecisionFunction()函数会报错
	cv::Mat alphamat = cv::Mat::zeros(numofsv, svdim, CV_32F);
	cv::Mat svindex = cv::Mat::zeros(1, numofsv, CV_64F);

	cv::Mat Result;
	double rho = svm->getDecisionFunction(0, alphamat, svindex);
	//将alphamat元素的数据类型重新转成CV_32F
	alphamat.convertTo(alphamat, CV_32F);
	Result = -1 * alphamat * svecsmat;

	std::vector<float> vec;
	for (int i = 0; i < svdim; ++i)
	{
		vec.push_back(Result.at<float>(0, i));
	}
	vec.push_back(rho);

	//saving HOGDetectorForOpenCV.txt
	std::ofstream fout("HOGDetectorForOpenCV.txt");
	for (int i = 0; i < vec.size(); ++i)
	{
		fout << vec[i] << std::endl;
	}

	hog.setSVMDetector(vec);

	/**************读入视频进行HOG检测******************/

	cv::VideoCapture capture("video.avi");

	if (!capture.isOpened())
	{
		std::cout << "Read video Failed !" << std::endl;
		return;
	}

	cv::Mat frame;

	int frame_num = capture.get(cv::CAP_PROP_FRAME_COUNT);
	std::cout << "total frame number is: " << frame_num << std::endl;

	
	int width = capture.get(cv::CAP_PROP_FRAME_WIDTH);
	int height = capture.get(cv::CAP_PROP_FRAME_HEIGHT);
	
	cv::VideoWriter out;

	//用于保存检测结果
	out.open("test result.mp4", CV_FOURCC('D', 'I', 'V', 'X'), 25.0, cv::Size(width / 2, height / 2), true);

	for (int i = 0; i < frame_num; ++i)
	{
		capture >> frame;

		cv::resize(frame, frame, cv::Size(width / 2, height / 2));

		//目标矩形框数组 
		std::vector<cv::Rect> found, found_1, found_filtered;
		//对图片进行多尺度检测
		hog.detectMultiScale(frame, found, 0, cv::Size(8, 8), cv::Size(16, 16), 1.2, 2);  

		for (int i = 0; i<found.size(); i++)
		{
			if (found[i].x > 0 && found[i].y > 0 && (found[i].x + found[i].width)< frame.cols
				&& (found[i].y + found[i].height)< frame.rows)
				found_1.push_back(found[i]);
		}

		//找出所有没有嵌套的矩形框r,并放入found_filtered中,如果有嵌套的话,
		//则取外面最大的那个矩形框放入found_filtered中  
		for (int i = 0; i < found_1.size(); i++)
		{
			cv::Rect r = found_1[i];
			int j = 0;
			for (; j < found_1.size(); j++)
				if (j != i && (r & found_1[j]) == found_1[j])
					break;
			if (j == found_1.size())
				found_filtered.push_back(r);
		}

		//画矩形框，因为hog检测出的矩形框比实际目标框要稍微大些,所以这里需要做一些调整，可根据实际情况调整  
		for (int i = 0; i<found_filtered.size(); i++)
		{
			cv::Rect r = found_filtered[i];
			//将检测矩形框缩小后绘制，根据实际情况调整
			r.x += cvRound(r.width*0.1);
			r.width = cvRound(r.width*0.8);
			r.y += cvRound(r.height*0.1);
			r.height = cvRound(r.height*0.8);
		}

		for (int i = 0; i<found_filtered.size(); i++)
		{
			cv::Rect r = found_filtered[i];

			cv::rectangle(frame, r.tl(), r.br(), cv::Scalar(0, 0, 255), 2);

		}
		cv::imshow("detect result", frame);

		//保存检测结果
		out << frame;

		if (cv::waitKey(30) == 'q')
		{
			break;
		}
	}
	capture.release();
	out.release();
	return;
}

2017.04.15

SVM，即支持向量机，在结合相关特征描述子之后，在目标识别，如行人识别、汽车识别、人脸识别等领域中有着重要应用。OpenCV中提供了HOG特征描述子，这种特征提供支持SVM的接口。这不再进行原理性的介绍，直接介绍如何使用opencv进行SVM+HOG训练和检测。

1、svm+hog训练

[cpp] view plain copy

print ?

1. #include <iostream>    
2. #include <fstream>    
3. #include <opencv2/opencv.hpp>  
4. #include <string>  
5.   
6. #define PosSamNO 3000    //正样本个数    
7. #define NegSamNO 3000    //负样本个数    
8. #define HardExampleNO 1000   //难例个数  
9.   
10.   
11. void train_svm_hog()  
12. {  
13.     //HOG检测器，用来计算HOG描述子的  
14.     //检测窗口(48,48),块尺寸(16,16),块步长(8,8),cell尺寸(8,8),直方图bin个数9   
15.     cv::HOGDescriptor hog(cv::Size(48, 48), cv::Size(16, 16), cv::Size(8, 8), cv::Size(8, 8), 9);    
16.     int DescriptorDim;//HOG描述子的维数，由图片大小、检测窗口大小、块大小、细胞单元中直方图bin个数决定    
17.   
18.     //设置SVM参数  
19.     cv::Ptr<cv::ml::SVM> svm = cv::ml::SVM::create();  
20.     svm->setType(cv::ml::SVM::Types::C_SVC);  
21.     svm->setKernel(cv::ml::SVM::KernelTypes::LINEAR);  
22.     svm->setTermCriteria(cv::TermCriteria(cv::TermCriteria::MAX_ITER, 100, 1e-6));  
23.   
24.     std::string ImgName;  
25.   
26.     //正样本图片的文件列表  
27.     std::ifstream finPos("positive_samples.txt");  
28.     //负样本图片的文件列表  
29.     std::ifstream finNeg("negative_samples.txt");  
30.   
31.     //所有训练样本的特征向量组成的矩阵，行数等于所有样本的个数，列数等于HOG描述子维数   
32.     cv::Mat sampleFeatureMat;  
33.     //训练样本的类别向量，行数等于所有样本的个数，列数等于1；1表示有目标，-1表示无目标   
34.     cv::Mat sampleLabelMat;  
35.   
36.   
37.     //依次读取正样本图片，生成HOG描述子    
38.     for (int num = 0; num < PosSamNO && getline(finPos, ImgName); num++)  
39.     {  
40.         std::cout << "Processing：" << ImgName << std::endl;   
41.         cv::Mat image = cv::imread(ImgName);    
42.   
43.         //HOG描述子向量   
44.         std::vector<float> descriptors;  
45.         //计算HOG描述子，检测窗口移动步长(8,8)  
46.         hog.compute(image, descriptors, cv::Size(8, 8));    
47.   
48.         //处理第一个样本时初始化特征向量矩阵和类别矩阵，因为只有知道了特征向量的维数才能初始化特征向量矩阵    
49.         if (0 == num)  
50.         {  
51.             //HOG描述子的维数   
52.             DescriptorDim = descriptors.size();   
53.             //初始化所有训练样本的特征向量组成的矩阵，行数等于所有样本的个数，列数等于HOG描述子维数sampleFeatureMat    
54.             sampleFeatureMat = cv::Mat::zeros(PosSamNO + NegSamNO + HardExampleNO, DescriptorDim, CV_32FC1);  
55.             //初始化训练样本的类别向量，行数等于所有样本的个数，列数等于1   
56.             sampleLabelMat = cv::Mat::zeros(PosSamNO + NegSamNO + HardExampleNO, 1, CV_32SC1);  
57.         }  
58.   
59.         //将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMat    
60.         for (int i = 0; i < DescriptorDim; i++)  
61.         {  
62.             //第num个样本的特征向量中的第i个元素   
63.             sampleFeatureMat.at<float>(num, i) = descriptors[i];  
64.         }  
65.         //正样本类别为1，有目标      
66.         sampleLabelMat.at<float>(num, 0) = 1;  
67.     }  
68.   
69.     //依次读取负样本图片，生成HOG描述子    
70.     for (int num = 0; num < NegSamNO && getline(finNeg, ImgName); num++)  
71.     {  
72.         std::cout << "Processing：" << ImgName << std::endl;  
73.         cv::Mat src = cv::imread(ImgName);      
74.         cv::resize(src, src, cv::Size(48, 48));  
75.         //HOG描述子向量  
76.         std::vector<float> descriptors;  
77.         //计算HOG描述子，检测窗口移动步长(8,8)   
78.         hog.compute(src, descriptors, cv::Size(8, 8));   
79.         std::cout << "descriptor dimention：" << descriptors.size() << std::endl;  
80.         //将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMat    
81.         for (int i = 0; i < DescriptorDim; i++)  
82.         {  
83.             //第PosSamNO+num个样本的特征向量中的第i个元素  
84.             sampleFeatureMat.at<float>(num + PosSamNO, i) = descriptors[i];  
85.         }  
86.   
87.         //负样本类别为-1，无目标  
88.         sampleLabelMat.at<float>(num + PosSamNO, 0) = -1;  
89.     }  
90.   
91.     //处理HardExample负样本    
92.     if (HardExampleNO > 0)  
93.     {  
94.         //HardExample负样本的文件列表   
95.         std::ifstream finHardExample("hard_samples_d.txt");   
96.         //依次读取HardExample负样本图片，生成HOG描述子    
97.         for (int num = 0; num < HardExampleNO && getline(finHardExample, ImgName); num++)  
98.         {  
99.             std::cout << "Processing：" << ImgName << std::endl;  
100.   
101.             cv::Mat src = cv::imread(ImgName, cv::IMREAD_GRAYSCALE);  
102.             cv::resize(src, src, cv::Size(48, 48));  
103.             //HOG描述子向量    
104.             std::vector<float> descriptors;  
105.             //计算HOG描述子，检测窗口移动步长(8,8)   
106.             hog.compute(src, descriptors, cv::Size(8, 8));   
107.   
108.             //将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMat    
109.             for (int i = 0; i < DescriptorDim; i++)  
110.             {  
111.                 //第PosSamNO+num个样本的特征向量中的第i个元素  
112.                 sampleFeatureMat.at<float>(num + PosSamNO + NegSamNO, i) = descriptors[i];  
113.             }  
114.             //负样本类别为-1，无目标   
115.             sampleLabelMat.at<float>(num + PosSamNO + NegSamNO, 0) = -1;   
116.         }  
117.     }  
118.   
119.     //训练SVM分类器    
120.     //迭代终止条件，当迭代满1000次或误差小于FLT_EPSILON时停止迭代    
121.     std::cout << "开始训练SVM分类器" << std::endl;  
122.     cv::Ptr<cv::ml::TrainData> td = cv::ml::TrainData::create(sampleFeatureMat, cv::ml::SampleTypes::ROW_SAMPLE, sampleLabelMat);  
123.     //训练分类器    
124.     svm->train(td);  
125.     std::cout << "训练完成" << std::endl;  
126.     //将训练好的SVM模型保存为xml文件  
127.     svm->save("SVM_HOG.xml");   
128.   
129.     return;  
130. }  

#include <iostream>  
#include <fstream>  
#include <opencv2/opencv.hpp>
#include <string>

#define PosSamNO 3000    //正样本个数  
#define NegSamNO 3000    //负样本个数  
#define HardExampleNO 1000   //难例个数


void train_svm_hog()
{
	//HOG检测器，用来计算HOG描述子的
	//检测窗口(48,48),块尺寸(16,16),块步长(8,8),cell尺寸(8,8),直方图bin个数9 
	cv::HOGDescriptor hog(cv::Size(48, 48), cv::Size(16, 16), cv::Size(8, 8), cv::Size(8, 8), 9);  
	int DescriptorDim;//HOG描述子的维数，由图片大小、检测窗口大小、块大小、细胞单元中直方图bin个数决定  

	//设置SVM参数
	cv::Ptr<cv::ml::SVM> svm = cv::ml::SVM::create();
	svm->setType(cv::ml::SVM::Types::C_SVC);
	svm->setKernel(cv::ml::SVM::KernelTypes::LINEAR);
	svm->setTermCriteria(cv::TermCriteria(cv::TermCriteria::MAX_ITER, 100, 1e-6));

	std::string ImgName;

	//正样本图片的文件列表
	std::ifstream finPos("positive_samples.txt");
	//负样本图片的文件列表
	std::ifstream finNeg("negative_samples.txt");

	//所有训练样本的特征向量组成的矩阵，行数等于所有样本的个数，列数等于HOG描述子维数 
	cv::Mat sampleFeatureMat;
	//训练样本的类别向量，行数等于所有样本的个数，列数等于1；1表示有目标，-1表示无目标 
	cv::Mat sampleLabelMat;


	//依次读取正样本图片，生成HOG描述子  
	for (int num = 0; num < PosSamNO && getline(finPos, ImgName); num++)
	{
		std::cout << "Processing：" << ImgName << std::endl; 
		cv::Mat image = cv::imread(ImgName);  

		//HOG描述子向量 
		std::vector<float> descriptors;
		//计算HOG描述子，检测窗口移动步长(8,8)
		hog.compute(image, descriptors, cv::Size(8, 8));  

		//处理第一个样本时初始化特征向量矩阵和类别矩阵，因为只有知道了特征向量的维数才能初始化特征向量矩阵  
		if (0 == num)
		{
			//HOG描述子的维数 
			DescriptorDim = descriptors.size(); 
			//初始化所有训练样本的特征向量组成的矩阵，行数等于所有样本的个数，列数等于HOG描述子维数sampleFeatureMat  
			sampleFeatureMat = cv::Mat::zeros(PosSamNO + NegSamNO + HardExampleNO, DescriptorDim, CV_32FC1);
			//初始化训练样本的类别向量，行数等于所有样本的个数，列数等于1 
			sampleLabelMat = cv::Mat::zeros(PosSamNO + NegSamNO + HardExampleNO, 1, CV_32SC1);
		}

		//将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMat  
		for (int i = 0; i < DescriptorDim; i++)
		{
			//第num个样本的特征向量中的第i个元素 
			sampleFeatureMat.at<float>(num, i) = descriptors[i];
		}
		//正样本类别为1，有目标	 
		sampleLabelMat.at<float>(num, 0) = 1;
	}

	//依次读取负样本图片，生成HOG描述子  
	for (int num = 0; num < NegSamNO && getline(finNeg, ImgName); num++)
	{
		std::cout << "Processing：" << ImgName << std::endl;
		cv::Mat src = cv::imread(ImgName);    
		cv::resize(src, src, cv::Size(48, 48));
		//HOG描述子向量
		std::vector<float> descriptors;
		//计算HOG描述子，检测窗口移动步长(8,8) 
		hog.compute(src, descriptors, cv::Size(8, 8)); 
		std::cout << "descriptor dimention：" << descriptors.size() << std::endl;
		//将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMat  
		for (int i = 0; i < DescriptorDim; i++)
		{
			//第PosSamNO+num个样本的特征向量中的第i个元素
			sampleFeatureMat.at<float>(num + PosSamNO, i) = descriptors[i];
		}

		//负样本类别为-1，无目标
		sampleLabelMat.at<float>(num + PosSamNO, 0) = -1;
	}

	//处理HardExample负样本  
	if (HardExampleNO > 0)
	{
		//HardExample负样本的文件列表 
		std::ifstream finHardExample("hard_samples_d.txt"); 
		//依次读取HardExample负样本图片，生成HOG描述子  
		for (int num = 0; num < HardExampleNO && getline(finHardExample, ImgName); num++)
		{
			std::cout << "Processing：" << ImgName << std::endl;

			cv::Mat src = cv::imread(ImgName, cv::IMREAD_GRAYSCALE);
			cv::resize(src, src, cv::Size(48, 48));
			//HOG描述子向量  
			std::vector<float> descriptors;
			//计算HOG描述子，检测窗口移动步长(8,8) 
			hog.compute(src, descriptors, cv::Size(8, 8)); 

			//将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMat  
			for (int i = 0; i < DescriptorDim; i++)
			{
				//第PosSamNO+num个样本的特征向量中的第i个元素
				sampleFeatureMat.at<float>(num + PosSamNO + NegSamNO, i) = descriptors[i];
			}
			//负样本类别为-1，无目标 
			sampleLabelMat.at<float>(num + PosSamNO + NegSamNO, 0) = -1; 
		}
	}

	//训练SVM分类器  
	//迭代终止条件，当迭代满1000次或误差小于FLT_EPSILON时停止迭代  
	std::cout << "开始训练SVM分类器" << std::endl;
	cv::Ptr<cv::ml::TrainData> td = cv::ml::TrainData::create(sampleFeatureMat, cv::ml::SampleTypes::ROW_SAMPLE, sampleLabelMat);
	//训练分类器  
	svm->train(td);
	std::cout << "训练完成" << std::endl;
	//将训练好的SVM模型保存为xml文件
	svm->save("SVM_HOG.xml"); 

	return;
}

2、svm+hog检测

[cpp] view plain copy

print ?

1. void svm_hog_detect()  
2. {  
3.     //HOG检测器，用来计算HOG描述子的    
4.     //检测窗口(48,48),块尺寸(16,16),块步长(8,8),cell尺寸(8,8),直方图bin个数9    
5.     cv::HOGDescriptor hog(cv::Size(48, 48), cv::Size(16, 16), cv::Size(8, 8), cv::Size(8, 8), 9);  
6.   
7.     //HOG描述子的维数，由图片大小、检测窗口大小、块大小、细胞单元中直方图bin个数决定   
8.     int DescriptorDim;   
9.   
10.     //从XML文件读取训练好的SVM模型  
11.     cv::Ptr<cv::ml::SVM> svm = cv::ml::SVM::load("SVM_HOG_C_H0.xml");    
12.   
13.     if (svm->empty())  
14.     {  
15.         std::cout << "load svm detector failed!!!" << std::endl;  
16.         return;  
17.     }  
18.   
19.     //特征向量的维数，即HOG描述子的维数    
20.     DescriptorDim = svm->getVarCount();  
21.   
22.     //获取svecsmat，元素类型为float  
23.     cv::Mat svecsmat = svm->getSupportVectors();  
24.     //特征向量维数  
25.     int svdim = svm->getVarCount();  
26.     int numofsv = svecsmat.rows;  
27.   
28.     //alphamat和svindex必须初始化，否则getDecisionFunction()函数会报错  
29.     cv::Mat alphamat = cv::Mat::zeros(numofsv, svdim, CV_32F);  
30.     cv::Mat svindex = cv::Mat::zeros(1, numofsv, CV_64F);  
31.   
32.     cv::Mat Result;  
33.     double rho = svm->getDecisionFunction(0, alphamat, svindex);  
34.     //将alphamat元素的数据类型重新转成CV_32F  
35.     alphamat.convertTo(alphamat, CV_32F);  
36.     Result = -1 * alphamat * svecsmat;  
37.   
38.     std::vector<float> vec;  
39.     for (int i = 0; i < svdim; ++i)  
40.     {  
41.         vec.push_back(Result.at<float>(0, i));  
42.     }  
43.     vec.push_back(rho);  
44.   
45.     //saving HOGDetectorForOpenCV.txt  
46.     std::ofstream fout("HOGDetectorForOpenCV.txt");  
47.     for (int i = 0; i < vec.size(); ++i)  
48.     {  
49.         fout << vec[i] << std::endl;  
50.     }  
51.   
52.     hog.setSVMDetector(vec);  
53.   
54.     /**************读入视频进行HOG检测******************/  
55.   
56.     cv::VideoCapture capture("video.avi");  
57.   
58.     if (!capture.isOpened())  
59.     {  
60.         std::cout << "Read video Failed !" << std::endl;  
61.         return;  
62.     }  
63.   
64.     cv::Mat frame;  
65.   
66.     int frame_num = capture.get(cv::CAP_PROP_FRAME_COUNT);  
67.     std::cout << "total frame number is: " << frame_num << std::endl;  
68.   
69.       
70.     int width = capture.get(cv::CAP_PROP_FRAME_WIDTH);  
71.     int height = capture.get(cv::CAP_PROP_FRAME_HEIGHT);  
72.       
73.     cv::VideoWriter out;  
74.   
75.     //用于保存检测结果  
76.     out.open("test result.mp4", CV_FOURCC('D', 'I', 'V', 'X'), 25.0, cv::Size(width / 2, height / 2), true);  
77.   
78.     for (int i = 0; i < frame_num; ++i)  
79.     {  
80.         capture >> frame;  
81.   
82.         cv::resize(frame, frame, cv::Size(width / 2, height / 2));  
83.   
84.         //目标矩形框数组   
85.         std::vector<cv::Rect> found, found_1, found_filtered;  
86.         //对图片进行多尺度检测  
87.         hog.detectMultiScale(frame, found, 0, cv::Size(8, 8), cv::Size(16, 16), 1.2, 2);    
88.   
89.         for (int i = 0; i<found.size(); i++)  
90.         {  
91.             if (found[i].x > 0 && found[i].y > 0 && (found[i].x + found[i].width)< frame.cols  
92.                 && (found[i].y + found[i].height)< frame.rows)  
93.                 found_1.push_back(found[i]);  
94.         }  
95.   
96.         //找出所有没有嵌套的矩形框r,并放入found_filtered中,如果有嵌套的话,  
97.         //则取外面最大的那个矩形框放入found_filtered中    
98.         for (int i = 0; i < found_1.size(); i++)  
99.         {  
100.             cv::Rect r = found_1[i];  
101.             int j = 0;  
102.             for (; j < found_1.size(); j++)  
103.                 if (j != i && (r & found_1[j]) == found_1[j])  
104.                     break;  
105.             if (j == found_1.size())  
106.                 found_filtered.push_back(r);  
107.         }  
108.   
109.         //画矩形框，因为hog检测出的矩形框比实际目标框要稍微大些,所以这里需要做一些调整，可根据实际情况调整    
110.         for (int i = 0; i<found_filtered.size(); i++)  
111.         {  
112.             cv::Rect r = found_filtered[i];  
113.             //将检测矩形框缩小后绘制，根据实际情况调整  
114.             r.x += cvRound(r.width*0.1);  
115.             r.width = cvRound(r.width*0.8);  
116.             r.y += cvRound(r.height*0.1);  
117.             r.height = cvRound(r.height*0.8);  
118.         }  
119.   
120.         for (int i = 0; i<found_filtered.size(); i++)  
121.         {  
122.             cv::Rect r = found_filtered[i];  
123.   
124.             cv::rectangle(frame, r.tl(), r.br(), cv::Scalar(0, 0, 255), 2);  
125.   
126.         }  
127.         cv::imshow("detect result", frame);  
128.   
129.         //保存检测结果  
130.         out << frame;  
131.   
132.         if (cv::waitKey(30) == 'q')  
133.         {  
134.             break;  
135.         }  
136.     }  
137.     capture.release();  
138.     out.release();  
139.     return;  
140. }  

void svm_hog_detect()
{
	//HOG检测器，用来计算HOG描述子的  
	//检测窗口(48,48),块尺寸(16,16),块步长(8,8),cell尺寸(8,8),直方图bin个数9  
	cv::HOGDescriptor hog(cv::Size(48, 48), cv::Size(16, 16), cv::Size(8, 8), cv::Size(8, 8), 9);

	//HOG描述子的维数，由图片大小、检测窗口大小、块大小、细胞单元中直方图bin个数决定 
	int DescriptorDim; 

	//从XML文件读取训练好的SVM模型
	cv::Ptr<cv::ml::SVM> svm = cv::ml::SVM::load("SVM_HOG_C_H0.xml");  

	if (svm->empty())
	{
		std::cout << "load svm detector failed!!!" << std::endl;
		return;
	}

	//特征向量的维数，即HOG描述子的维数  
	DescriptorDim = svm->getVarCount();

	//获取svecsmat，元素类型为float
	cv::Mat svecsmat = svm->getSupportVectors();
	//特征向量维数
	int svdim = svm->getVarCount();
	int numofsv = svecsmat.rows;

	//alphamat和svindex必须初始化，否则getDecisionFunction()函数会报错
	cv::Mat alphamat = cv::Mat::zeros(numofsv, svdim, CV_32F);
	cv::Mat svindex = cv::Mat::zeros(1, numofsv, CV_64F);

	cv::Mat Result;
	double rho = svm->getDecisionFunction(0, alphamat, svindex);
	//将alphamat元素的数据类型重新转成CV_32F
	alphamat.convertTo(alphamat, CV_32F);
	Result = -1 * alphamat * svecsmat;

	std::vector<float> vec;
	for (int i = 0; i < svdim; ++i)
	{
		vec.push_back(Result.at<float>(0, i));
	}
	vec.push_back(rho);

	//saving HOGDetectorForOpenCV.txt
	std::ofstream fout("HOGDetectorForOpenCV.txt");
	for (int i = 0; i < vec.size(); ++i)
	{
		fout << vec[i] << std::endl;
	}

	hog.setSVMDetector(vec);

	/**************读入视频进行HOG检测******************/

	cv::VideoCapture capture("video.avi");

	if (!capture.isOpened())
	{
		std::cout << "Read video Failed !" << std::endl;
		return;
	}

	cv::Mat frame;

	int frame_num = capture.get(cv::CAP_PROP_FRAME_COUNT);
	std::cout << "total frame number is: " << frame_num << std::endl;

	
	int width = capture.get(cv::CAP_PROP_FRAME_WIDTH);
	int height = capture.get(cv::CAP_PROP_FRAME_HEIGHT);
	
	cv::VideoWriter out;

	//用于保存检测结果
	out.open("test result.mp4", CV_FOURCC('D', 'I', 'V', 'X'), 25.0, cv::Size(width / 2, height / 2), true);

	for (int i = 0; i < frame_num; ++i)
	{
		capture >> frame;

		cv::resize(frame, frame, cv::Size(width / 2, height / 2));

		//目标矩形框数组 
		std::vector<cv::Rect> found, found_1, found_filtered;
		//对图片进行多尺度检测
		hog.detectMultiScale(frame, found, 0, cv::Size(8, 8), cv::Size(16, 16), 1.2, 2);  

		for (int i = 0; i<found.size(); i++)
		{
			if (found[i].x > 0 && found[i].y > 0 && (found[i].x + found[i].width)< frame.cols
				&& (found[i].y + found[i].height)< frame.rows)
				found_1.push_back(found[i]);
		}

		//找出所有没有嵌套的矩形框r,并放入found_filtered中,如果有嵌套的话,
		//则取外面最大的那个矩形框放入found_filtered中  
		for (int i = 0; i < found_1.size(); i++)
		{
			cv::Rect r = found_1[i];
			int j = 0;
			for (; j < found_1.size(); j++)
				if (j != i && (r & found_1[j]) == found_1[j])
					break;
			if (j == found_1.size())
				found_filtered.push_back(r);
		}

		//画矩形框，因为hog检测出的矩形框比实际目标框要稍微大些,所以这里需要做一些调整，可根据实际情况调整  
		for (int i = 0; i<found_filtered.size(); i++)
		{
			cv::Rect r = found_filtered[i];
			//将检测矩形框缩小后绘制，根据实际情况调整
			r.x += cvRound(r.width*0.1);
			r.width = cvRound(r.width*0.8);
			r.y += cvRound(r.height*0.1);
			r.height = cvRound(r.height*0.8);
		}

		for (int i = 0; i<found_filtered.size(); i++)
		{
			cv::Rect r = found_filtered[i];

			cv::rectangle(frame, r.tl(), r.br(), cv::Scalar(0, 0, 255), 2);

		}
		cv::imshow("detect result", frame);

		//保存检测结果
		out << frame;

		if (cv::waitKey(30) == 'q')
		{
			break;
		}
	}
	capture.release();
	out.release();
	return;
}

2017.04.15