线性模型，使用最小二乘参数估计使模型预测结果与实际结果y之间的均方误差最小，得到参数w和b（其中b可以算作w的最后一列，对应属性值恒置为1）。
线性模型形式简单，易于建模，引入层级结构或高维映射后可得到更为抢到的非线性结构。为广义线性模型，有加权最小二乘法或极大似然法进行参数估计。
对于二元分类问题，y的取值为0或1，假设不同类别训练样本数目相同，当预测的y值大于0.5认证为正，反之为负，y实际表达了正例的可能性，即，则为正例。若假设不成立，即类别不平衡问题，有三种解决方法：
（1） 对数目少的一类欠采样，去除一部分后训练，时间开销小，但训练样本少
（2） 对数目多的一类过采样，增加一部分后训练，时间开销大，训练样本多，不可简单得重复采样，会过拟合，可采用插值产生额外样本。
（3） 用原始数据训练，使用进行决策（m表示样本个数）
代码实践：使用逻辑回归和随机梯度预测疾病
import pandas as pd
import numpy as np
# 创建特征列表。
column_names = ['Sample code number', 'Clump Thickness', 'Uniformity ofCell Size', 'Uniformity of Cell Shape', 'Marginal Adhesion', 'Single EpithelialCell Size', 'Bare Nuclei', 'Bland Chromatin', 'Normal Nucleoli', 'Mitoses','Class']
# 使用pandas.read_csv函数从互联网读取指定数据
data =pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data',names = column_names )
# 将?替换为标准缺失值表示。
data = data.replace(to_replace='?', value=np.nan)
# 丢弃带有缺失值的数据（只要有一个维度有缺失）
data = data.dropna(how='any')
# 输出data的数据量和维度。
data.shape
# 使用sklearn.model_selection里的train_test_split模块用于分割数据。
from sklearn.model_selection import train_test_split
# 随机采样25%的数据用于测试，剩下的75%用于构建训练集合。
X_train, X_test, y_train, y_test =train_test_split(data[column_names[1:10]], data[column_names[10]],test_size=0.25, random_state=33)
# 查验训练样本的数量和类别分布。
y_train.value_counts()
# 查验测试样本的数量和类别分布。
y_test.value_counts()
# 从sklearn.preprocessing里导入StandardScaler。
from sklearn.preprocessing import StandardScaler
# 从sklearn.linear_model里导入LogisticRegression与SGDClassifier。
from sklearn.linear_model import LogisticRegression
from sklearn.linear_model import stochastic_gradient
# 标准化数据，保证每个维度的特征数据方差为1，均值为0。使得预测结果不会被某些维度过大的特征值而主导。
ss = StandardScaler()
X_train = ss.fit_transform(X_train)
X_test = ss.transform(X_test)
# 初始化LogisticRegression与SGDClassifier。
lr = LogisticRegression()
sgdc = stochastic_gradient.SGDClassifier(max_iter=5)
# 调用LogisticRegression中的fit函数/模块用来训练模型参数。
lr.fit(X_train, y_train)
# 使用训练好的模型lr对X_test进行预测，结果储存在变量lr_y_predict中。
lr_y_predict = lr.predict(X_test)
# 调用SGDClassifier中的fit函数/模块用来训练模型参数。
sgdc.fit(X_train, y_train)
# 使用训练好的模型sgdc对X_test进行预测，结果储存在变量sgdc_y_predict中。
sgdc_y_predict = sgdc.predict(X_test)
# 从sklearn.metrics里导入classification_report模块。
from sklearn.metrics import classification_report
# 使用逻辑斯蒂回归模型自带的评分函数score获得模型在测试集上的准确性结果。
print ('Accuracy of LR Classifier:', lr.score(X_test, y_test))
# 利用classification_report模块获得LogisticRegression其他三个指标的结果。
print (classification_report(y_test, lr_y_predict, target_names=['Benign','Malignant']))
# 使用随机梯度下降模型自带的评分函数score获得模型在测试集上的准确性结果。
print ('Accuarcy of SGD Classifier:', sgdc.score(X_test, y_test))
# 利用classification_report模块获得SGDClassifier其他三个指标的结果。
print (classification_report(y_test, sgdc_y_predict,target_names=['Benign', 'Malignant']))--来自《Python机器学习及实践 —— 从零开始通往Kaggle竞赛之路》