神经网络学习引入-线性分类器 Linear Classification

线性分类器

• 评分函数(score function)：计算原始数据到所属分类的得分
• 损失函数(loss function)：量化预测得分和实际情况之间的认可度

从图像到标签得分的参数映射

定义评分函数 $f:R^{D}->R^{K}$用于把原始图片像素映射到分类得分
对于线性分类器，有评分函数：
$f(x_{i},W,b)=Wx_{i}+b$
其中，W称作权重；b称作基础矢量(basic vector)。

• 一些需要注意的点：
  假设W是一个[10*3072]的矢量，b是一个[10*1]的矢量。

1. 对于每一个 $x_{i}$，乘积 $Wx_{i}$用于预测十个独立的分类，W中的每一行代表一个分类。
2. 我们希望正确的分类在所有分类中评分最高
3. 优点：训练数据用于确定合适的参数W,b，一旦学习完成，我们就可以抛弃所有的训练集，仅需存储训练得到的W和b。
4. 对于测试数据的分类仅包含一个矩阵的乘法和加法运算，计算时间将会明显快于将测试数据与所有的训练数据进行比较。