【模式识别与机器学习】——3.5Fisher线性判别

---恢复内容开始---

出发点

  应用统计方法解决模式识别问题时,一再碰到的问题之一就是维数问题。 在低维空间里解析上或计算上行得通的方法,在高维空间里往往行不通。 因此,降低维数有时就会成为处理实际问题的关键。

问题描述

考虑把d维空间的样本投影到一条直线上,形成一维空间,即把维数压缩到一维。

然而,即使样本在d维空间里形成若干紧凑的互相分得开的集群,当把它们投影到一条直线上时,也可能会是几类样本混在一起而变得无法识别。

但是,在一般情况下,总可以找到某个方向,使在这个方向的直线上,样本的投影能分得开。

问题:如何根据实际情况找到一条最好的、最易于分类的投影线,这就是Fisher判别方法所要解决的基本问题。

从d维空间到一维空间的一般数学变换方法

Fisher准则函数的定义

(1)几个必要的基本参量

    

  我们希望投影后,在一维Y空间中各类样本尽可能分得开些,即希望两类均值之差越大越好,同时希望各类样本内部尽量密集,即希望类内离散度越小越好。

 (2)Fisher准则函数

(3)最佳变换向量W*的求取

先修知识:Lagrange乘数法

最佳变换向量的求取

基于最佳变换向量w*的投影

  w*是使Fisher准则函数JF(w)取极大值时的解,也就是d维X空间到一维Y空间的最佳投影方向。有了w*,就可以把d维样本x投影到一维,这实际上是多维空间到一维空间的一种映射,这个一维空间的方向w*相对于Fisher准则函数JF(w)是最好的。 利用Fisher准则,就可以将d维分类问题转化为一维分类问题,然后,只要确定一个阈值T,将投影点yn与T相比较,即可进行分类判别。

猜你喜欢

转载自www.cnblogs.com/chihaoyuIsnotHere/p/9754730.html