机器学习基础——凸优化
目录
一、计算几何研究
计算几何（computational geometry），研究几何模型和数据处理的学科，探讨几何形体的计算机表示。分析和综合，研究如何灵活、有效的建立几何形体的数学模型以及在计算机中更好地存储和管理这些模型数据。
二、凸集直线表达式与初等直线方程差异
1、计算几何理论（凸集）中
x 1 ≠ x 2 x1≠x2 x1=x2
且为n维空间的两个点则：
2、初中数学中
直线的两点式方程推导过程：
（1）设直线l上的两点P1、P2的坐标分别为(x1,y1)、(x2,y2)，且(x1≠x2)；所以直线l的斜率：
（2）在直线l上任意取一点P（x，y）
将直线l的斜率K，P点的坐标代入直线的点斜式方程y-y0=k(x-x0)中得：
即：
为直线 l 的两点式方程。
3、对比差异
| 对象 | 差异 | 优点 |
|---|---|---|
| 凸集 | 广泛的表示n维欧式空间内所有的两个点连成的直线 | 增加了角度应用更加广泛 |
| 初中数学 | 是一个直观的几何对象，二维坐标系（平面）中求解的直线方程 | 在二维空间了解直线的起点 |
三、凸集定义&直线是什么集
1、凸集是什么
1.在凸几何中
凸集(convex set)是在凸组合下闭合的仿射空间的子集
2.在欧氏空间中
凸集是对于集合内的每一对点，连接该对点的直线段上的每个点也在该集合内。例如，立方体是凸集，但是任何中空的或具有凹痕的例如月牙形都不是凸集。
2、直线是凸集吗
根据实数R上（或复数C上）的向量空间中，如果集合S中任两点的连线上的点都在S内，则称集合S为凸集。
直线上任意两点的连线上的点都在直线上，所以直线是凸集。
3、直线是仿射集吗
仿射集：对于Rn中的子集M, 存在x,y∈M，若有
成立，则称M是一仿射集。
直线是仿射集。
四、三维空间中的平面
平面 Ax+By+Cz+D = 0 的法向量就是 x、y、z 的系数，也即（A，B，C）。
五、更高维度的“超平面”
超平面是n维欧氏空间中余维度等于一的线性子空间，也就是必须是(n-1)维度。这是平面中的直线、空间中的平面之推广（n大于3才被称为“超”平面），是纯粹的数学概念，不是现实的物理概念。因为是子空间，所以超平面一定经过原点。
六、凸函数、Hessian Matrix矩阵、凸函数判别
1、什么是凸函数
凸函数是一个定义在某个向量空间的凸子集C上的实值函数f，而且对于凸子集C中任意两个向量x1、x2有
成立。
2、什么是Hessian Matrix矩阵
Hessen矩阵是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。
二元函数的Hessen矩阵：
多元函数的Hessen矩阵：
3、判别凸函数
判定方法：
1.对于一元函数f(x)，我们可以通过其二阶导数f′′(x) 的符号来判断。如果函数的二阶导数总是非负，即f′′(x)≥0 ，则f(x)是凸函数
2.对于多元函数f(X)，我们可以通过其Hessian矩阵（Hessian矩阵是由多元函数的二阶导数组成的方阵）的正定性来判断。如果Hessian矩阵是半正定矩阵，则是f(X)凸函数
4、f(x)=x^3 函数是凸函数吗
对f(x)求二阶导
所以
x>0 函数是凹函数；
x<0 函数是凸函数。
七、凸规划、判别凸规划问题
1、凸规划
2、判别凸规划问题（举例）
例如：
手工解如下：
八、总结与参考资料
1、总结
本篇文章主要是对机器学习基础凸优化问题的简单认识。