机器学习之LogisticRegression逻辑回归

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/mr_muli/article/details/84330015

• 机器学习之LogisticRegression逻辑回归

# -*- coding: utf-8 -*-
"""
Created on Wed Nov 21 20:31:59 2018

@author: muli
"""

import matplotlib.pyplot as plt
import numpy as np
from sklearn import datasets, linear_model,cross_validation


def load_data():
    '''
    加载用于分类问题的数据集

    return: 一个元组，用于分类问题。
    元组元素依次为：训练样本集、测试样本集、训练样本集对应的标记、测试样本集对应的标记
    '''
    iris=datasets.load_iris() # 使用 scikit-learn 自带的 iris 数据集
    X_train=iris.data
    y_train=iris.target
    # 分层采样拆分成训练集和测试集，测试集大小为原始数据集大小的 1/4
    return cross_validation.train_test_split(X_train, y_train,test_size=0.25,
		random_state=0,stratify=y_train)
    
    
def test_LogisticRegression(*data):
    '''
    测试 LogisticRegression 的用法

    :param data: 可变参数。它是一个元组，这里要求其元素依次为：训练样本集、测试样本集、训练样本的标记、测试样本的标记
    :return: None
    '''
    X_train,X_test,y_train,y_test=data
    regr = linear_model.LogisticRegression()
    # 模型训练
    regr.fit(X_train, y_train)
    # 返回 W值 和 b值
    print('Coefficients:%s, intercept %s'%(regr.coef_,regr.intercept_))
    # 返回预测的准确率
    print('Score: %.2f' % regr.score(X_test, y_test))


def test_LogisticRegression_multinomial(*data):
    '''
    测试 LogisticRegression 的预测性能随 multi_class 参数的影响

    param data: 可变参数。
    它是一个元组，这里要求其元素依次为：训练样本集、测试样本集、训练样本的标记、测试样本的标记
    return: None
    '''
    X_train,X_test,y_train,y_test=data
    regr = linear_model.LogisticRegression(multi_class='multinomial',solver='lbfgs')
    regr.fit(X_train, y_train)
    print('Coefficients:%s, intercept %s'%(regr.coef_,regr.intercept_))
    print('Score: %.2f' % regr.score(X_test, y_test))



def test_LogisticRegression_C(*data):
    '''
    测试 LogisticRegression 的预测性能随  C  参数的影响

    param data: 可变参数。
    它是一个元组，这里要求其元素依次为：训练样本集、测试样本集、训练样本的标记、测试样本的标记
    return: None
    '''
    X_train,X_test,y_train,y_test=data
    Cs=np.logspace(-2,4,num=100)
    scores=[]
    for C in Cs:
        regr = linear_model.LogisticRegression(C=C)
        regr.fit(X_train, y_train)
        scores.append(regr.score(X_test, y_test))
    ## 绘图
    fig=plt.figure()
    ax=fig.add_subplot(1,1,1)
    ax.plot(Cs,scores)
    ax.set_xlabel(r"C")
    ax.set_ylabel(r"score")
    ax.set_xscale('log')
    ax.set_title("LogisticRegression")
    plt.show()


if __name__=='__main__':
    # 加载用于分类的数据集
    X_train,X_test,y_train,y_test=load_data() 
    # 查看原有的信息形式
#    print(X_train)
#    print("-------------")
#    print(y_train)
    # 调用  test_LogisticRegression
#    test_LogisticRegression(X_train,X_test,y_train,y_test) 
    # 调用  test_LogisticRegression_multinomial
#    test_LogisticRegression_multinomial(X_train,X_test,y_train,y_test) 
    # 调用  test_LogisticRegression_C
    test_LogisticRegression_C(X_train,X_test,y_train,y_test)