【机器学习课程-华盛顿大学】：3 分类 3.2 逻辑回归分类器

一、逻辑回归模型

1、模型

2、质量矩阵采用：MLE最大似然估计

找到使得概率最大时的权值w：

3、梯度下降求解

4、log似然导数

5、逻辑回归的梯度下降

6、步长选择

太小：收敛太慢，太大：可能不会收敛，在震荡

二、log似然估计公式推导

y=+1, 1[yi=+1]= 1；否则1[yi=+1]= 0

y=-1, 1[yi=-1]= 1；否则1[yi=-1]= 0

其他简单连接函数，比如sign(z)

三、测试