선형 회귀에 기초한 예측 분석 --boston 가격

본 논문에서는 일반 식 , 기울기 하강 , 리지 회귀 정규화와 세 가지 BOSTON 비율 분석 및 예측 데이터 세트 세 가지 방법의 차이를 비교

from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression, SGDRegressor,  Ridge, LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error, classification_report
from sklearn.externals import joblib
import pandas as pd
import numpy as np

class HousePredict():
    """
    波士顿房子数据集价格预测
    """
    
    def __init__(self):
        
        # 1.获取数据
        lb = load_boston()

        # 2.分割数据集到训练集和测试集
        x_train, x_test, y_train, y_test = train_test_split(lb.data, lb.target, test_size=0.25)
        # print(y_train, y_test)

        # 3.特征值和目标值是都必须进行标准化处理, 实例化两个标准化API
        # 3.1特征值标准化
        self.std_x = StandardScaler()

        self.x_train = self.std_x.fit_transform(x_train)
        self.x_test = self.std_x.transform(x_test)


        # 3.2目标值标准化
        self.std_y = StandardScaler()

        self.y_train = self.std_y.fit_transform(y_train.reshape(-1, 1))  # 二维
        self.y_test = self.std_y.transform(y_test.reshape(-1, 1))


    def mylinear(self):
        """
        正规方程求解方式预测
        :return: None
        """
        
        # 预测房价结果，直接载入之前保存的模型
    #     model = joblib.load("./tmp/test.pkl")

    #     y_predict = self.std_y.inverse_transform(model.predict(self.x_test))

    #     print("保存的模型预测的结果：", y_predict)

    #     estimator预测
    #     正规方程求解方式预测结果
        lr = LinearRegression() 
        lr.fit(self.x_train, self.y_train)

        print("正规方程求解方式回归系数", lr.coef_)

        # 保存训练好的模型
        # joblib.dump(lr, "./tmp/test.pkl")

        # # 预测测试集的房子价格
        y_lr_predict = self.std_y.inverse_transform(lr.predict(self.x_test))
        #
        # print("正规方程测试集里面每个房子的预测价格：", y_lr_predict)
        print("正规方程的均方误差：", mean_squared_error(self.std_y.inverse_transform(self.y_test), y_lr_predict))
        
        return None
    
    def mysdg(self):
        """
        梯度下降去进行房价预测
        :return: None
        """
        sgd = SGDRegressor()
        sgd.fit(self.x_train, self.y_train)

        print("梯度下降得出的回归系数", sgd.coef_)

        # 预测测试集的房子价格
        y_sgd_predict = self.std_y.inverse_transform(sgd.predict(self.x_test))

        # print("梯度下降测试集里面每个房子的预测价格：", y_sgd_predict)
        print("梯度下降的均方误差：", mean_squared_error(self.std_y.inverse_transform(self.y_test), y_sgd_predict))

        return None
    
    
    def myridge(self):
        """
        带有正则化的岭回归去进行房价预测
        """
        rd = Ridge(alpha=1.0)
        rd.fit(self.x_train, self.y_train)
        
        print("岭回归回归系数", rd.coef_)
        
        # 预测测试集的房子价格
        y_rd_predict = self.std_y.inverse_transform(rd.predict(self.x_test))
        
        # print("岭回归每个房子的预测价格：", y_rd_predict)
        print("岭回归均方误差：", mean_squared_error(self.std_y.inverse_transform(self.y_test), y_rd_predict))
        
        return None

if __name__ == "__main__":
    A = HousePredict()
    A.mylinear()
    A.mysdg()
    A.myridge()

正规方程求解方式回归系数 [[-0.10843933  0.13470414  0.00828142  0.08736748 -0.2274728   0.25791114
   0.0185931  -0.33169482  0.27340519 -0.22995446 -0.20995577  0.08854303
  -0.40967023]]

正规方程的均方误差： 20.334736834357248
梯度下降得出的回归系数 [-0.08498404  0.07094101 -0.03414044  0.11407245 -0.09152116  0.3256401
 -0.0071226  -0.2071317   0.07391015 -0.06095605 -0.17955743  0.08442426
 -0.35757617]

梯度下降的均方误差： 21.558873305580214
岭回归回归系数 [[-0.10727714  0.13281388  0.00561734  0.0878943  -0.22348981  0.25929669
   0.0174662  -0.32810805  0.26380776 -0.22163145 -0.20871114  0.08831287
  -0.4076144 ]]

岭回归均方误差： 20.37300555358197

오버 피팅 훈련 데이터에 대한 가설이 다른 가정보다 더 나은 적합을 얻을 수 있지만, 훈련 데이터를 외부 데이터 세트는 잘 데이터를 맞는이 가정은 overfitting 등장 고려하지 않을 수 있습니다 : 현상. (모델이 너무 복잡)

그 이유는 모델이 계정에 개별 테스트 데이터 지점을하려고 너무 복잡하기 때문에 너무 많은 원래의 기능을 일부 잡음이 기능 모델이있다
해결 방법 :
- 1. 기능 선택, 큰 상관 특성을 제거 (하드 수행 할 작업)
- 2. 교차 검증 (그래서 모든 데이터가 훈련을받은 것을)
- 3.L2의 정규화
  - 작업 : W는 각 소자가 매우 작도록 할 수있다 (아래에서 가중치, 고차 조건 피처들의 영향을 최소화) 0에 근접
  - 장점 :이 작은 모델 매개 변수 설명 간단하고 간단한 모델, 더 어려운에 오버 피팅

단순성과 : 가설은 학습 데이터에 더 잘 맞는을 얻을 수 있지만, 훈련 데이터를 외부 데이터 세트가 아니라 데이터를 맞지 않을 수 있습니다,이 가정이 현상을 단순성과 등장 고려한다. (모델은 너무 간단하다)

그 이유는 데이터의 특성을 배울가 너무 작습니다
이 솔루션은 : 기능 데이터의 수를 증가

1, 선형 회귀 평가 및 SGDRegressor

2, 기능 : 선형 회귀가 가장 사용하기 쉬운 회귀 모델이다.

어느 정도 특성 사이의 관계의 전제를 알지 못하고, 우리가 아직도 대부분의 시스템에 대한 첫 번째 선택으로 선형 회귀를 사용하지만, 사용을 제한 할 수 있습니다.

소규모 데이터 : 선형 회귀 (피팅 문제를 해결하지 않음)뿐만 아니라 기타로

대규모 데이터 : SGDRegressor

선형 회귀 선형 회귀와 릿지 대비

리지 회귀 : 회귀 회귀 계수가 더 현실적이고 더 신뢰할 수있다. 또한, 상기 추정 된 파라미터의 변동 범위는 작아진다 있도록,보다 안정하게된다. 큰 실용적인 가치가 병적 인 데이터의 연구에있다는 하이 사이드에 존재

선형 회귀에 기초한 예측 분석 --boston 가격

추천