机器学习day7-逻辑回归，分类问题

机器学习day7-逻辑回归问题

逻辑回归

逻辑回归，是最常见最基础的模型。

逻辑回归与线性回归

逻辑回归处理的是分类问题，线性回归处理回归问题。两者都是采用极大似然估计对训练样本建模，线性回归使用最小二乘法，逻辑回归则是似然函数。

逻辑回归处理的多分类问题

多项逻辑回归，Softmax Regression。

其中，为模型的参数，而可以看成对概率的归一化。
一般来说，多项逻辑回归具有参数冗余的特点，给同时加上减去一个向量，预测结果不变。
当类别为2分类。
因此，可以同时减去一个参数，比如说，减去。其中。。。，多分类问题同理，只是在二分类上面进行了扩展。
例如：当样本存在多个标签，比如5个分类，那么我们可以训练5个分类器，第i个分类器表示结果是不是属于第i类。因此我们的标签设置的是第i类和非第i类。