每日一问07
Question:什么是Softmax回归？和线性回归的区别是什么？
回归 vs 分类
- 回归估计一个连续值
- 分类预测一个离散类别
从回归到多分类
回归
-
单连续值输出
-
自然区间R
-
和真实值的区别作为损失
分类
- 通常多个输出
- 输出i时预测为第i类的置信度，并将值最大的输出所对应的类作为预测输出
均方损失
- 对类别进行一位有效编码（非0即1）
- 使用均方损失训练
- 最大值作为预测
- 需要更置信的识别正确类（预测值Oy和真实值Oi要足够小）
校验比例
- 输出匹配概率（非负，和为1）
- 概率y 和y_hat的区别作为损失
Softmax和交叉熵损失
- 交叉熵常用来衡量两个概率的区别
- 将交叉熵作为损失：
- 其梯度是真实概率和预测概率的区别
总结
- Softmax回归是一个多分类模型
- 使用Softmax操作子得到每个累的预测置信度
- 使用交叉熵来衡量和标号的区别