李哈哈的模式识别笔记【part 4：LMSE算法】
线性分类器的松弛求解
定义：
我们给定了bi，让每个样本的判别函数不仅仅大于零，而且等于bi。
那么，线性分类器求解过程中的不等式约束，就变成了等式约束，这样，在样本数量和空间维度相等时，便存在线性分类器训练的特定解。
**LMSE：**最小均方误差（Least Mean Square Error）这里采用实际值与松弛变量b的LMSE，采用批量梯度下降法，找到最优的权向量。
HK算法
同步优化松弛变量的HK算法
这里我们要找到最合适的松弛变量值。
这里仍以均方误差为准则函数，其中包含两个变量：松弛变量b和权向量w。
完整HK算法步骤：
LMSE算法可以在线性分类器的所有解中以均方误差最小找到比较好的解，但对于线性不可分问题没有办法，后续会有办法来解决线性不可分问题。