最近正在做的项目正好利用到了逻辑回归，所以正好系统的学习了下，本篇博文把自己的学习笔记、项目思路及代码都记录下来。它的计算原理很多网站和书籍都有介绍，就不在这班门弄斧了，主要还是记录自己如何实现
一、逻辑回归简介
Logistic Regression算法是通过训练数据中的正负样本，学习样本特征和样本标签的假设函数，它是典型的线性分类器，是广义线性模型的一种。它具有很强的可解释性，应用也非常广泛。如电商利用该模型判断用户是否会选择某种支付方式、金融企业通过该模型将用户划分为不同的信用等级、旅游业用该模型完成酒店客户的流失概率预测、医学界用该模型寻找影响某种疾病的“坏”因素、广告业利用该模型进行点击率预估等等。
优点：输出结果会有很好的概率解释，而算法也能通过正则化以避免过拟合；很容易通过随机梯度下降来更新数据模型；计算代价不高，速度很快，存储资源低。
缺点：容易欠拟合，分类精度可能不高；在面对多元或非线性决策边界时性能较差；逻辑回归是线性回归所对应的分类方法，基本概念由线性回归推导而出，所以只有当数据线性可分时（例如，数据可被某决策平面完全分离），这一算法才会有很好的表现。
二、python实现
Python中可利用sktlearn的子模块linear_model，调用LogisticRegression类，其语法和参数含义如下：
penalty：正则化惩罚项，str类型，可选参数为l1和l2，默认为l2。用于指定惩罚项中使用的规范。newton-cg、sag和lbfgs求解算法只支持L2规范。L1规范假设的是模型的参数满足拉普拉斯分布，L2假设的模型参数满足高斯分布，所谓的范式就是加上对参数的约束，使得模型更不会过拟合(overfit)，但是如果要说是不是加了约束就会好，这个没有人能回答，只能说，加约束的情况下，理论上应该可以获得泛化能力更强的结果。
dual：是否求解对偶形式，bool类型，默认为False。对偶方法只用在求解线性多核(liblinear)的L2惩罚项上。当样本数量>样本特征的时候，dual通常设置为False。
tol：用于指定模型跌倒收敛的阈值，float类型，默认为1e-4。就是求解到多少的时候，停止，认为已经求出最优解。
C：正则化系数λ的倒数，float类型，默认为1.0。必须是正浮点型数。像SVM一样，越小的数值表示越强的正则化。
fit_intercept：是否存在截距或偏差，bool类型，默认为True。
intercept_scaling：仅在正则化项solver为”liblinear”，且fit_intercept设置为True时有用。float类型，默认为1，主要是为了降低X矩阵中人为设定的常数列1的影响。
class_weight：用于标示分类模型中各种类型的权重，可以是一个字典或者’balanced’字符串，默认为不输入，也就是不考虑权重，即为None。如果选择输入的话，可以选择balanced让类库自己计算类型权重，或者自己输入各个类型的权重。举个例子，比如对于0,1的二元模型，我们可以定义class_weight={0:0.9,1:0.1}，这样类型0的权重为90%，而类型1的权重为10%。如果class_weight选择balanced，那么类库会根据训练样本量来计算权重。某种类型样本量越多，则权重越低，样本量越少，则权重越高。当class_weight为balanced时，类权重计算方法如下：n_samples / (n_classes * np.bincount(y))。n_samples为样本数，n_classes为类别数量，np.bincount(y)会输出每个类的样本数，例如y=[1,0,0,1,1],则np.bincount(y)=[2,3]。
class_weight实际作用如下：
在分类模型中，我们经常会遇到两类问题：
第一种是误分类的代价很高。比如对合法用户和非法用户进行分类，将非法用户分类为合法用户的代价很高，我们宁愿将合法用户分类为非法用户，这时可以人工再甄别，但是却不愿将非法用户分类为合法用户。这时，我们可以适当提高非法用户的权重。
第二种是样本是高度失衡的，比如我们有合法用户和非法用户的二元样本数据10000条，里面合法用户有9995条，非法用户只有5条，如果我们不考虑权重，则我们可以将所有的测试集都预测为合法用户，这样预测准确率理论上有99.95%，但是却没有任何意义。这时，我们可以选择balanced，让类库自动提高非法用户样本的权重。提高了某种分类的权重，相比不考虑权重，会有更多的样本分类划分到高权重的类别，从而可以解决上面两类问题。
random_state：随机数种子，int类型，可选参数，默认为无，仅在正则化优化算法为sag，liblinear时有用。
solver：优化算法选择参数，只有五个可选参数，即newton-cg,lbfgs,liblinear,sag,saga。默认为liblinear。solver参数决定了我们对逻辑回归损失函数的优化方法，有四种算法可以选择，分别是：
liblinear：使用了开源的liblinear库实现，内部使用了坐标轴下降法来迭代优化损失函数。
lbfgs：拟牛顿法的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。
newton-cg：也是牛顿法家族的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。
sag：即随机平均梯度下降，是梯度下降法的变种，和普通梯度下降法的区别是每次迭代仅仅用一部分的样本来计算梯度，适合于样本数据多的时候。
saga：线性收敛的随机优化算法的的变重。
各优化算法说明：
liblinear适用于小数据集，而sag和saga适用于大数据集因为速度更快。
对于多分类问题，只有newton-cg,sag,saga和lbfgs能够处理多项损失，而liblinear受限于一对剩余(OvR)。即用liblinear的时候，如果是多分类问题，得先把一种类别作为一个类别，剩余的所有类别作为另外一个类别。依此类推，遍历所有类别，进行分类。
newton-cg,sag和lbfgs这三种优化算法时都需要损失函数的一阶或者二阶连续导数，因此不能用于没有连续导数的L1正则化，只能用于L2正则化。而liblinear和saga通吃L1正则化和L2正则化。
同时，sag每次仅仅使用了部分样本进行梯度迭代，所以当样本量少的时候不要选择它，而如果样本量非常大，比如大于10万，sag是第一选择。但是sag不能用于L1正则化，所以当你有大量的样本，又需要L1正则化的话就要自己做取舍了。要么通过对样本采样来降低样本量，要么回到L2正则化。
从上面的描述，大家可能觉得，既然newton-cg, lbfgs和sag这么多限制，如果不是大样本，我们选择liblinear不就行了嘛！错，因为liblinear也有自己的弱点！我们知道，逻辑回归有二元逻辑回归和多元逻辑回归。对于多元逻辑回归常见的有one-vs-rest(OvR)和many-vs-many(MvM)两种。而MvM一般比OvR分类相对准确一些。郁闷的是liblinear只支持OvR，不支持MvM，这样如果我们需要相对精确的多元逻辑回归时，就不能选择liblinear了。也意味着如果我们需要相对精确的多元逻辑回归不能使用L1正则化了。
max_iter：算法收敛最大迭代次数，int类型，默认为100。仅在正则化优化算法为newton-cg, sag和lbfgs才有用，算法收敛的最大迭代次数。
multi_class：分类方式选择参数，str类型，如果因变量不止两个，可通过该参数指定多酚类问题解决方法，可选参数为ovr和multinomial，默认为ovr。ovr即前面提到的one-vs-rest(OvR)，而multinomial即前面提到的many-vs-many(MvM)。如果是二元逻辑回归，ovr和multinomial并没有任何区别，区别主要在多元逻辑回归上。
OvR和MvM的区别
OvR的思想很简单，无论你是多少元逻辑回归，我们都可以看做二元逻辑回归。具体做法是，对于第K类的分类决策，我们把所有第K类的样本作为正例，除了第K类样本以外的所有样本都作为负例，然后在上面做二元逻辑回归，得到第K类的分类模型。其他类的分类模型获得以此类推。
而MvM则相对复杂，这里举MvM的特例one-vs-one(OvO)作讲解。如果模型有T类，我们每次在所有的T类样本里面选择两类样本出来，不妨记为T1类和T2类，把所有的输出为T1和T2的样本放在一起，把T1作为正例，T2作为负例，进行二元逻辑回归，得到模型参数。我们一共需要T(T-1)/2次分类。
可以看出OvR相对简单，但分类效果相对略差（这里指大多数样本分布情况，某些样本分布下OvR可能更好）。而MvM分类相对精确，但是分类速度没有OvR快。如果选择了ovr，则4种损失函数的优化方法liblinear，newton-cg,lbfgs和sag都可以选择。但是如果选择了multinomial（即Softmax分类）,则只能选择newton-cg, lbfgs和sag了。
verbose：日志冗长度，boolean类型，默认为0，就是不输出训练过程，1的时候偶尔输出结果，大于1，对于每个子模型都输出。
warm_start：热启动参数，bool类型，默认为False，表示每次迭代都是从头开始。如果为True，则下一次训练是以追加树的形式进行（重新使用上一次的调用作为初始化）。
n_jobs：并行数，即模型运算时使用的CPU数量，int类型，默认为1。1的时候，用CPU的一个内核运行程序，2的时候，用CPU的2个内核运行程序。为-1的时候，用所有CPU的内核运行程序。
关于上述参数的介绍是转自https://blog.csdn.net/kingzone_2008/article/details/81067036
三、项目程序实现
该项目主要目的是为了找到本行业向好的城市，用于作为未来投放被选城市。即训练样本为宏观经济指标及行业相关指标；预测样本为宏观经济指标，预测目的就是根据宏观经济指标筛选出行业向好城市。整体思路比较简单：首先将训练样本根据行业指标打上行业向好和行业不向好两种标签，利用logistic模型进行训练，找出行业向好城市与宏观经济指标对应关系；然后利用预测样本给出行业向好城市以备选择。
完整代码如下：
import pandas as pd
import numpy as np
from sklearn.linear_model import LinearRegression,LogisticRegression,Ridge,RidgeCV,Lasso, LassoCV
from sklearn.model_selection import train_test_split,GridSearchCV,cross_val_score,cross_validate
from sklearn import metrics as mt
from statsmodels.stats.outliers_influence import variance_inflation_factor
# 读取数据 data_path = 'C:\\Users\\90539\\PycharmProjects\\data\\' # 文件路径 file_name = 'data.xlsx' # 文件名，因变量在最后一列 type_id = ['B'] # 所属品牌（分析时按照品牌来区别分析） data = pd.read_excel(data_path + file_name,index_col='ccom_id').dropna() # 删除缺失记录 data1_type = data[data['type_id'].isin(type_id)] # 取出品牌记录 data2_type = data1_type[data1_type['year1'] > 2016] # 以2017年以后的数据作为训练样本 data_type = data2_type.drop(['year1','year','type_id'], 1) # 某些列是时间或者品牌，所以需要删除# 删除相互之间相关性较强的自变量（去掉其中平均绝对相关系数较大的那一个） corrX = data_type.corr() # 相关系数矩阵 colnames = data_type.columns colnames3 = list() # 用于存储要剔除的变量名 thred_corr = 0.5 # 相关系数阈值，即两个自变量相关系数大于0.5就只保留一个 for j in range(corrX.shape[1] - 1): # 删除相关系数大于0.5的变量 for i in range(j + 1, corrX.shape[0] - 1): if abs(corrX.iloc[i, j]) >= thred_corr: if np.mean(corrX.iloc[i, :]) < np.mean(corrX.iloc[:, j]): # 去掉其中平均绝对相关系数较大的那一个 colnames3.append(colnames[j]) else: colnames3.append(colnames[i]) break colnames4 = colnames.drop(list(set(colnames3))) data2_type = data_type[colnames4] # 删除共线性变量，一般vif大于10就认为共线性很强，而本篇文章为了少选一些变量，将vif阈值设置为4 vif = [round(variance_inflation_factor(data2_type.values, i),2) for i in range(data2_type.shape[1])] # 方差膨胀因子 thred_vif = 4 # vif阈值 data3_type = data2_type.copy() while sum(list(map(lambda x:x>=thred_vif,vif))) > 0: colnames = data3_type.columns[:-1] for i in range(vif.__len__()-1): # 删除共线性较强的变量 if vif[i] >= thred_vif : data3_type = data3_type.drop(colnames[i], 1) vif = [round(variance_inflation_factor(data3_type.values, i), 2) for i in range(data3_type.shape[1])] # 方差膨胀因子 break
# 因为有很多变量重复的（一个是全市的，一个是城镇的），但前面两种方式都过滤不掉，所以就手动过滤一下
corrX3 = data3_type.corr()
colnames5 = data3_type.columns[:-1]
colnames6 = colnames5.copy()
for i in range(colnames5.__len__()):
for j in range(i+1,colnames5.__len__()):
if colnames5[j].replace('_ub_incr', '').__eq__(colnames5[i].replace('_incr', '')):
# print(colnames5[j]);print("和");print(colnames5[i])
if np.mean(corrX3.iloc[i, :]) < np.mean(corrX3.iloc[:, j]):
colnames6 = colnames6.drop(colnames5[i])
else:
colnames6 = colnames6.drop(colnames5[j])
break
data4_type = data3_type[colnames6.to_list() + [data3_type.columns[-1]]]# 将最后一列因变量二值化，即大于thred_incr的认为是行业向好的城市。
data6_type = data4_type.copy()
thred_incr = 0
for i in range(nrow):
if data4_type.iloc[i, j] > thred_incr :
value = 1
else:
value = 0
data6_type.iloc[i,-1] = value# 先将数据划分为训练和测试样本
data_train,data_test = train_test_split(data6_type,test_size=0.2，random_state=1234) # random_state是为了保留种子，保证每次跑出来的数都一样
col_names = data_train.columns
X = data_train[col_names[:-1]] # 自变量
y = data_train[col_names[-1]] # 因变量
# 逻辑回归
model = LogisticRegression()
model.fit(X, y)
coef = model.coef_ # 回归系数
coef_regression = pd.Series(index=['Intercept'] + X.columns.tolist(), data=[model.intercept_[0]] + coef.tolist()[0])
names = pd.read_excel(data_path + '经济指标名称.xlsx',index_col="short_name").dropna() # 导入经济指标的中文名称，只是为了打印出来能更清楚
names2 = []
for x in coef_regression.index:
for y in names.index:
if y==x.replace("_incr",""):
names2.append(names[names.index.isin([y])].iloc[:,-1])
break
coef_regression2 = pd.Series(index=['Intercept'] + names2, data=[model.intercept_[0]] + coef.tolist()[0])
print("回归系数分别为："); print(coef_regression2);print("\t")
# 测试样本
X_test = data_test[col_names[:-1]]
y_test = data_test[col_names[-1]]
predictY = model.predict(X_test) # 预测值
# 利用混淆矩阵来评估模型好坏
acu = mt.scorer.accuracy_score(y_test,predictY)
sen = mt.scorer.recall_score(y_test,predictY,pos_label=1)
spe = mt.scorer.recall_score(y_test,predictY,pos_label=-1)
print('模型准确率为：%.2f%%' % (acu * 100))
print('正例覆盖率为：%.2f%%' % (sen * 100))
print('负例覆盖率为：%.2f%%' % (spe * 100)); print('\t')# 最后导入预测样本进行实际预测
data_new = data[data['year1']==2016] # 以2016年的样本来进行预测，之所以不用做训练样本是因为这部分数据比较少
data_new2 = data_new.drop(['year1', 'year', 'type_id'], 1) # 删除无关变量
colnames = coef.index[1:] # 因为考虑了截距项，所以从1开始
X_pred = data_new2[colnames]
predictY = model.predict(X_pred)
result = pd.Series(index=X_pred.index.tolist(),data=predictY.tolist())
incr_ccom = result[result>=1].index # 行业向好城市名称本项目考虑的步骤较为简单，欠缺的地方较多，只是为了留作后用，但很欢迎批评指正。
