【机器学习】逻辑回归及相关实践

逻辑回归

简介

Logistic Regression与Linear Regression都属于线性模型，进行回归学习时使用Linear Regression,而Logistic Regression虽然名字上叫做“回归”，但其实是用于分类的模型。

对于逻辑回归而言，最突出的优势是模型简单、可解释性强；缺点是容易欠拟合，分类精度可能不高。

引入

线性回归模型产生的预测值是一个实值 $z$ ，而分类任务需要的是离散值。以二分类任务，将两个不同的类别分别标记为0/1，我们需要模型输出0/1，所以需要将原来的实值转换为0/1值（寻找一个函数将二者联系起来）：最为理想的是“单位阶跃函数”（下图中红色函数）：
$$y=\{\begin{array}{rlr}0& & z<0\\ 0.5& & z=0\\ 1& & z>0\end{array}$$

上图来自知乎用户@林恩，原图出自周志华《机器学习》

单位阶跃函数不连续，所以希望找到近似的单调可微的替代函数——对数几率函数，就是上图中的黑色曲线。其函数表达式如下：
$$y=\frac{1}{1+e^{-z}}$$
之前线性回归模型得到的实值$ z = w^Tx+b $将其带入上式可得到：
$$y=\frac{1}{1+e^{-(w^{T}x+b)}}$$
这样就实现了一开始所说的寻找一个函数，将线性回归得到的实值转换为0/1值，从而实现分类的目的（根据z的正负可以得到y，y与0.5比较得到相应的分类），同时也可以看出逻辑回归不是单单预测出“类别”，而是可以得到近似概率预测。$P(t=1|x;w,b)=y$为输入为类别1的概率；$P(t=0|x;w,b)=1-y$为输入为类别0的概率。

公式推导

上述的概率可以综合为：
$$P(t|x;w,b)=y^t(1-y{)}^{1-t}$$
这里的$t$指类别，为0/1

可以通过极大似然法估计参数$w,b$,也就是让每个样本属于其真实标记的概率越大越好。令$\beta =(w;b);\hat{x}=(x;1)$,那么似然函数可以写作：
$$L(\beta )=\prod _{i=1}^{m}P(t|x;\beta )=\prod _{i=1}^m{y}_i^{t_i}(1-y_i{)}^{1-t_i}$$
对数似然函数为：

$$l(\beta )=lnL(\beta )=\sum _{i=1}^m{t}_{i}ln{y}_i+(1-t_i)ln(1-y_i)$$
这里可以用梯度上升求解$\beta$，求出的即为最佳参数，令$J(\beta )=-\frac{1}{m}l(\beta )$,使用梯度下降法求解最小值：
$${\beta }^{i+1}={\beta }^i-\alpha \frac{\partial }{\partial \beta }J(\beta )$$
其中：
$$\begin{array}{rl}\frac{\partial }{\partial \beta }J(\beta )& =-\frac{1}{m}\sum _{i=1}^m(t_i\frac{1}{y^i}\frac{\partial y^i}{\partial \beta }-(1-t^i)\frac{1}{1-y^i}\frac{\partial y^i}{\partial \beta })\\ & =-\frac{1}{m}\sum _{i=1}^m\frac{\partial y^i}{\partial \beta }(t_i\frac{1}{y^i}-(1-t^i)\frac{1}{1-y^i})\\ & =-\frac{1}{m}\sum _{i=1}^m{y}^i(1-y^i)\frac{\partial {\beta }^T\hat{x}}{\partial \beta }(t_i\frac{1}{y^i}-(1-t^i)\frac{1}{1-y^i})\\ & =-\frac{1}{m}\sum _{i=1}^m(t^i(1-y^i)-(1-t^i)y^i){\hat{x}}_i\\ & =-\frac{1}{m}\sum _{i=1}^m(t^i-y^i){\hat{x}}_i\end{array}$$
故参数的更新可以写成
$${\beta }^{e+1}={\beta }^e-\alpha \frac{1}{m}\sum _{i=1}^m(y^i-t^i){\hat{x}}_i$$
其中$e$为迭代的次数，$t$为真实标签。

之前的$J(\beta )$即为逻辑回归的损失函数，其为交叉熵损失函数，有关部分可参考看得见的信息论-为什么用交叉熵作为逻辑回归的代价函数

逻辑回归实践

Step 1:导入库

import numpy as np
## 画图库
import matplotlib.pyplot as plt
import seaborn as sns

## 导入逻辑回归模型函数
from sklearn.linear_model import LogisticRegression

Step 2:训练模型

## 构造数据集
x_features = np.array([[-1,-2],[-2,-1],[-3,-2], [1, 3], [2, 1], [3, 2]])
y_label = np.array([0, 0, 0, 1, 1, 1])

## 调用LR模型
lr_model = LogisticRegression()

## 用模型拟合构造的数据集
lr_model = lr_model.fit(x_features,y_label)

Step 3:模型参数查看

##查看其对应模型的w
print('the weight of Logistic Regression:',lr_model.coef_)
##查看其对应模型的w0(bias)
print('the intercept(w0) of Logistic Regression:',lr_model.intercept_)
##the weight of Logistic Regression:[[0.73462087 0.6947908]]
##the intercept(w0) of Logistic Regression:[-0.03643213]

Step 4：数据和模型可视化

## 可视化构造的数据样本点
plt.figure()
plt.scatter(x_features[:,0],x_features[:,1], c=y_label, s=50, cmap='viridis')
plt.title('Dataset')
plt.show()

# 可视化决策边界
plt.figure()
plt.scatter(x_features[:,0],x_features[:,1], c=y_label, s=50, cmap='viridis')
plt.title('Dataset')

nx, ny = 200, 100
x_min, x_max = plt.xlim()
y_min, y_max = plt.ylim()
x_grid, y_grid = np.meshgrid(np.linspace(x_min, x_max, nx),np.linspace(y_min, y_max, ny))

z_proba = lr_model.predict_proba(np.c_[x_grid.ravel(), y_grid.ravel()])
z_proba = z_proba[:, 1].reshape(x_grid.shape)
plt.contour(x_grid, y_grid, z_proba, [0.5], linewidths=2., colors='blue')

plt.show()

### 可视化预测新样本

plt.figure()
## new point 1
x_features_new1 = np.array([[0, -1]])
plt.scatter(x_features_new1[:,0],x_features_new1[:,1], s=50, cmap='viridis')
plt.annotate(s='New point 1',xy=(0,-1),xytext=(-2,0),color='blue',arrowprops=dict(arrowstyle='-|>',connectionstyle='arc3',color='red'))

## new point 2
x_features_new2 = np.array([[1, 2]])
plt.scatter(x_features_new2[:,0],x_features_new2[:,1], s=50, cmap='viridis')
plt.annotate(s='New point 2',xy=(1,2),xytext=(-1.5,2.5),color='red',arrowprops=dict(arrowstyle='-|>',connectionstyle='arc3',color='red'))

## 训练样本
plt.scatter(x_features[:,0],x_features[:,1], c=y_label, s=50, cmap='viridis')
plt.title('Dataset')

# 可视化决策边界
plt.contour(x_grid, y_grid, z_proba, [0.5], linewidths=2., colors='blue')

plt.show()

Step 5：模型预测

##在训练集和测试集上分布利用训练好的模型进行预测
y_label_new1_predict=lr_model.predict(x_features_new1)
y_label_new2_predict=lr_model.predict(x_features_new2)
print('The New point 1 predict class:\n',y_label_new1_predict)
print('The New point 2 predict class:\n',y_label_new2_predict)
##由于逻辑回归模型是概率预测模型（前文介绍的p = p(y=1|x,\theta)）,所有我们可以利用predict_proba函数预测其概率
y_label_new1_predict_proba=lr_model.predict_proba(x_features_new1)
y_label_new2_predict_proba=lr_model.predict_proba(x_features_new2)
print('The New point 1 predict Probability of each class:\n',y_label_new1_predict_proba)
print('The New point 2 predict Probability of each class:\n',y_label_new2_predict_proba)
##TheNewpoint1predictclass:
##[0]
##TheNewpoint2predictclass:
##[1]
##TheNewpoint1predictProbabilityofeachclass:
##[[0.695677240.30432276]]
##TheNewpoint2predictProbabilityofeachclass:
##[[0.119839360.88016064]]

基于鸢尾花（iris）数据集的逻辑回归分类实践

Step 1：函数库导入

##  基础函数库
import numpy as np 
import pandas as pd

## 绘图函数库
import matplotlib.pyplot as plt
import seaborn as sns

##从sklearn中导入逻辑回归模型
from sklearn.linear_model import LogisticRegression

Step 2：数据读取/载入

鸢尾花数据集共150个样本数据，其中每个样本包含四个特征变量和一个类别标签，类别包括山鸢尾 (Iris-setosa)，变色鸢尾(Iris-versicolor)和维吉尼亚鸢尾(Iris-virginica)三种，四个特征分别是花萼长度(cm)、花萼宽度(cm)、花瓣长度(cm)、花瓣宽度(cm)

## 利用sklearn中自带的iris数据作为数据载入，并利用Pandas转化为DataFrame格式
from sklearn.datasets import load_iris
data = load_iris() #得到数据特征
iris_target = data.target #得到数据对应的标签
iris_features = pd.DataFrame(data=data.data, columns=data.feature_names) #利用Pandas转化为DataFrame格式

Step 3：利用逻辑回归模型在二分类上进行训练和预测

## 将数据划分为训练集和测试集
from sklearn.model_selection import train_test_split
# #二分类，只选择其类别为0和1的样本
iris_features_part=iris_features.iloc[:100]
iris_target_part=iris_target[:100]
##测试集大小为20%
x_train,x_test,y_train,y_test=train_test_split(iris_features_part,iris_target_part,test_size=0.2,random_state=2020)

## 定义逻辑回归模型
clf=LogisticRegression(random_state=0,solver='lbfgs')

## 在训练集上训练逻辑回归模型
clf.fit(x_train,y_train)

##查看其对应的w
print('the weight of Logistic Regression:',clf.coef_)

##查看其对应的w0(bias)
print('the intercept(w0) of Logistic Regression:',clf.intercept_)


## 在训练集和测试集上分布利用训练好的模型进行预测
train_predict=clf.predict(x_train)
test_predict=clf.predict(x_test)

## 利用accuracy评估模型效果
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_train,train_predict))
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_test,test_predict))

##The accuracy of the Logistic Regressionis:1.0
##The accuracy of the Logistic Regressionis:1.0
##The confusion matrix result:
##[[9  0]
##[0  11]]

Step 4：利用 逻辑回归模型 在三分类(多分类)上 进行训练和预测

##测试集大小为20%
x_train,x_test,y_train,y_test=train_test_split(iris_features,iris_target,test_size=0.2,random_state=2020)

##定义模型
clf=LogisticRegression(random_state=0,solver='lbfgs')

##训练
clf.fit(x_train,y_train)

##查看其对应的w
print('the weight of Logistic Regression:\n',clf.coef_)
##查看其对应的w0(bias)
print('the intercept(w0) of Logistic Regression:\n',clf.intercept_)
##由于这个是3分类，所有我们这里得到了三个逻辑回归模型的参数，其三个逻辑回归组合起来即可实现三分类

##预测
train_predict=clf.predict(x_train)
test_predict=clf.predict(x_test)
##由于逻辑回归模型是概率预测模型,可以利用predict_proba函数预测其概率

train_predict_proba=clf.predict_proba(x_train)
test_predict_proba=clf.predict_proba(x_test)

print('The test predict Probability of each class:\n',test_predict_proba)
##其中第一列代表预测为0类的概率，第二列代表预测为1类的概率，第三列代表预测为2类的概率。

##利用accuracy评估模型效果
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_train,train_predict))
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_test,test_predict))

'''
The accuracy of the Logistic Regression is: 0.958333333333
The accuracy of the Logistic Regression is: 0.8
The confusion matrix result:
 [[10  0  0]
 [ 0  7  3]
 [ 0  3  7]]
'''

参考资料

• 周志华《机器学习》
• 阿里云机器学习算法