线性回归
一元线性回归(单特征)
这个方程对于的图像是一条直线,称为回归线。其中 为回归线的斜率, 为回归线的截距
代价函数(损失函数)
- 最小二乘法计算误差
- 为真实值,预测值为 误差平方为
2.寻找合适的参数,使得误差平方和最小。
3.代码实现
#最小二乘法 b为截距 k为斜率
def compute_error(b, k, x_data, y_data):
totalError = 0
for i in range(0,len(x_data)):
totalError += (y_data[i] - (k * x_data[i] + b)) ** 2
return totalError / float(len(x_data)) / 2.0
- 相关系数
衡量线性相关性的强弱 - 决定系数
用来描述非线性或者两个及两个以上自变量的相关关系强弱
梯度下降法求解
- 原理:不断改变
直到
到达一个全局最小值,或者局部最小值
- 求法
其中偏导部分的求法:
- 实现代码
# learning rate
lr = 0.0001
#截距
b = 0
#斜率
k = 0
#最大迭代次数
epochs = 50
#梯度下降法求 b 和 k
def gradient_descent_runner(x_data, y_data, b, k, lr, epochs):
# 计算总数据量
m = float(len(x_data))
# 循环epochs次
for i in range(epochs):
b_grad = 0
k_grad = 0
# 计算梯度的总和再求平均
for j in range(0, len(x_data)):
b_grad += (1/m) * (((k * x_data[j]) + b) - y_data[j])
k_grad += (1/m) * x_data[j] * (((k * x_data[j]) + b) - y_data[j])
# 更新b和k
b = b - (lr * b_grad)
k = k - (lr * k_grad)
# 每迭代5次,输出一次图像
if i % 5==0:
print("epochs:",i)
plt.plot(x_data, y_data, 'b.')
plt.plot(x_data, k*x_data + b, 'r')
plt.show()
return b, k
利用sklearn库求解
利用 sklearn库中的 LinearRegression(线性回归)函数
from sklearn.linear_model import LinearRegression#导入线性回归函数
import numpy as np
import matplotlib.pyplot as plt
# 创建并拟合模型
model = LinearRegression()
model.fit(x_data, y_data)
# 画图
plt.plot(x_data, y_data, 'b.')
plt.plot(x_data, model.predict(x_data), 'r')
plt.show()