版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u012931582/article/details/56873865
cs231n-线性分类器
线性可分与不可分
分类问题就是根据已知数据集来给未知数据打上标签的过程,根据数据分布的不同,可以找到线性函数所表示的直线或者(超)平面将不同数据分开,就称为线性可分问题:
下图所示就是一个线性不可分问题:
当然,是否线性可分取决于选择的特征数量和质量,如果选取了多维特征,当前维度下的线性不可分问题就可以转换成为高维空间的线性可分问题,比如:
| 数据点 | x | y | 类别 |
|---|---|---|---|
| a | 1 | 1 | 黑 |
| b | 2 | 2 | 黑 |
| c | 3 | 1 | 白 |
| d | 4 | 2 | 黑 |
如果只选取一维特征x作为分类特征,那么显然c和其它三个点不能通过一条直线可分,如果选取x和y作为分类特征,那么变成二维的分类问题,那么就是线性可分了.
对于图片的分类,比如cifar数据集的分类问题,图片是一种高维的数据,一般来说,很难找到合适的特征和方法把图片分类问题转为线性可分问题.
线性分类器
线性分类器的得分函数可以用一个公式表达:
其中x表示输入的图像,W表示权值矩阵,b表示偏置向量,举一个例子,如果一共有十个类别的图像,每一幅图像大小为32*32*3,那么x是一个3072*1的向量,W为10*3072的矩阵,b为一个10*1的向量.
在实际的计算过程中,为了方便计算,通常把b加到W当中去作为一列,x增加一行,如下图:
输入三张图片最后的得分如下,加粗的是正确的类别,十个里面最高的分数是线性分类器最后的分类:
把结果映射到平面上,每一个图片都看作一个点,那么每一类的分类器都可以看做是一条直线:
