本論文では、正規方程式、勾配降下、リッジ回帰正則との三つの方法BOSTONレート分析と予測データ・セットは、三つの方法の違いを比較します
from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression, SGDRegressor, Ridge, LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error, classification_report
from sklearn.externals import joblib
import pandas as pd
import numpy as npclass HousePredict():
"""
波士顿房子数据集价格预测
"""
def __init__(self):
# 1.获取数据
lb = load_boston()
# 2.分割数据集到训练集和测试集
x_train, x_test, y_train, y_test = train_test_split(lb.data, lb.target, test_size=0.25)
# print(y_train, y_test)
# 3.特征值和目标值是都必须进行标准化处理, 实例化两个标准化API
# 3.1特征值标准化
self.std_x = StandardScaler()
self.x_train = self.std_x.fit_transform(x_train)
self.x_test = self.std_x.transform(x_test)
# 3.2目标值标准化
self.std_y = StandardScaler()
self.y_train = self.std_y.fit_transform(y_train.reshape(-1, 1)) # 二维
self.y_test = self.std_y.transform(y_test.reshape(-1, 1))
def mylinear(self):
"""
正规方程求解方式预测
:return: None
"""
# 预测房价结果，直接载入之前保存的模型
# model = joblib.load("./tmp/test.pkl")
# y_predict = self.std_y.inverse_transform(model.predict(self.x_test))
# print("保存的模型预测的结果：", y_predict)
# estimator预测
# 正规方程求解方式预测结果
lr = LinearRegression()
lr.fit(self.x_train, self.y_train)
print("正规方程求解方式回归系数", lr.coef_)
# 保存训练好的模型
# joblib.dump(lr, "./tmp/test.pkl")
# # 预测测试集的房子价格
y_lr_predict = self.std_y.inverse_transform(lr.predict(self.x_test))
#
# print("正规方程测试集里面每个房子的预测价格：", y_lr_predict)
print("正规方程的均方误差：", mean_squared_error(self.std_y.inverse_transform(self.y_test), y_lr_predict))
return None
def mysdg(self):
"""
梯度下降去进行房价预测
:return: None
"""
sgd = SGDRegressor()
sgd.fit(self.x_train, self.y_train)
print("梯度下降得出的回归系数", sgd.coef_)
# 预测测试集的房子价格
y_sgd_predict = self.std_y.inverse_transform(sgd.predict(self.x_test))
# print("梯度下降测试集里面每个房子的预测价格：", y_sgd_predict)
print("梯度下降的均方误差：", mean_squared_error(self.std_y.inverse_transform(self.y_test), y_sgd_predict))
return None
def myridge(self):
"""
带有正则化的岭回归去进行房价预测
"""
rd = Ridge(alpha=1.0)
rd.fit(self.x_train, self.y_train)
print("岭回归回归系数", rd.coef_)
# 预测测试集的房子价格
y_rd_predict = self.std_y.inverse_transform(rd.predict(self.x_test))
# print("岭回归每个房子的预测价格：", y_rd_predict)
print("岭回归均方误差：", mean_squared_error(self.std_y.inverse_transform(self.y_test), y_rd_predict))
return None
if __name__ == "__main__":
A = HousePredict()
A.mylinear()
A.mysdg()
A.myridge()正规方程求解方式回归系数 [[-0.10843933 0.13470414 0.00828142 0.08736748 -0.2274728 0.25791114
0.0185931 -0.33169482 0.27340519 -0.22995446 -0.20995577 0.08854303
-0.40967023]]
正规方程的均方误差： 20.334736834357248
梯度下降得出的回归系数 [-0.08498404 0.07094101 -0.03414044 0.11407245 -0.09152116 0.3256401
-0.0071226 -0.2071317 0.07391015 -0.06095605 -0.17955743 0.08442426
-0.35757617]
梯度下降的均方误差： 21.558873305580214
岭回归回归系数 [[-0.10727714 0.13281388 0.00561734 0.0878943 -0.22348981 0.25929669
0.0174662 -0.32810805 0.26380776 -0.22163145 -0.20871114 0.08831287
-0.4076144 ]]
岭回归均方误差： 20.37300555358197オーバーフィット：トレーニング・データ外の他の仮説より良いフィット感を得るためのトレーニングデータの仮説が、データセットがデータをうまく収まらない場合、この仮定は過剰適合登場考えます現象。（モデルはあまりにも複雑）
理由：あまりにも多くのオリジナルの特徴、モデルは、アカウントに個々の試験データ点を取るしようとするには余りにも複雑であるため、いくつかの騒々しい機能、モデルがあります
- ソリューション：
- 1.特徴選択、大きな相関特性を排除する（ハード行うには）
- 2.クロスバリデーション（ので、すべてのデータが訓練されていること）
- 3.L2正則
- 処置：Wは各要素が非常に小さくなるようにしてもよい、（加重下、高次項の機能の影響を最小限に）0に近いです
- 利点：小さいモデルパラメータの説明よりシンプルかつ簡単なモデル、オーバーフィッティングがより困難
Underfitting：この仮定が現象をunderfitting登場検討し、仮説は、トレーニングデータのより良いフィット感を得ることはできませんが、トレーニングデータ外のデータセットはよくデータにフィットすることはできません。（モデルは単純すぎます）
- 理由：データの特性を学ぶためには小さすぎます
- 解決策：特徴データの数を増やします
1、線形回帰の評価とSGDRegressor
2、特徴：線形回帰は、最も使いやすい回帰モデルです。
ある程度の特性との関係の前提を知らなくても、我々はまだ、ほとんどのシステムのための最初の選択肢として、線形回帰を使用している、しかし、使用を制限します。
小規模データ：線形回帰（フィッティング問題を解決しない）、ならびに他の
大規模データ：SGDRegressor
線形回帰線形回帰とリッジのコントラスト
リッジ回帰：回帰回帰係数はより現実的で、より信頼性があります。さらに、推定されたパラメータは、変動幅が小さくなることができ、それはより安定になります。偉大な実用的な価値は、病理学的データの研究であり、ハイサイドに存在します