机器学习--回归算法--softmax回归理论

本篇内容参考《百面机器学习》《统计学习方法》

第一部分 理论概述

1 Softmax回归是Logistc回归的一般化，适用于k分类问题，针对每个类别都有一个参数向量从而组成一个参数矩阵

2 Softmax函数本质上就是将k维度实数向量压缩成另一个k维实数向量，其中每个维度取值范围是(0,1)

 

第二部分 理论模型

1 模型前提

1）对于数据集而言，目标属性y具有k个类别（y=1,2,...,k）

2）目标属性的分布律

3）引入置信函数

2 建立模型

注意：softmax回归的损失函数是对数（交叉熵）损失函数