【简单学习机器学习】学习笔记之Python机器学习算法 （逻辑回归）

正如上一篇文章所提到，分类算法是典型的监督学习，训练样本中包含样本的特征和标签信息。

逻辑回归（Logistic Regression）算法是一种广泛使用的分类算法（二分类），通过训练数据中的正负样本，学习样本特征到样本标签之间的假设函数，它是典型的线性分类器。算法的复杂度低、容易实现等特点，在工业界得到广泛应用。

#逻辑回归模型

逻辑回归模型是广义线性模型的一种，属于线性的分类模型。

分类问题，通常分为线性可分与线性不可分两种。如果一个分类问题可以使用线性判别函数正确分类，则成为线性可分问题。

训练逻辑回归模型的步骤：

 1. 确定阙值函数（Sigmod函数），将样本映射到不同类别中
 2. 为得到模型的两个参数（权重矩阵W，偏置向量b），定义损失函数
 3. 为求损失函数的最小值，使用基于梯度下降的优化算法求解（当然还有别的优化算法）求解
 4. 利用梯度下降法训练逻辑回归模型
 
 实践：