线性回归（Linear regression）
线性回归作为机器学习中的一个基本算法，他的目的、功能、用途都是相当的明了，在这篇文章中会简单的介绍和说明线性回归的原理，然后使用python实现效果，最后会在其他的文章中补充一些进一步的优化
线性回归的目的 很简单，就是用一条直线来拟合这些点。
线性回归的功能 也很直接，通过大量的训练集进行训练，得到合适的权重参数
θ，随之输入测试集或者验证集的数据，对其进行预测。
线性回归的简单用途 可以用来进行房价收入等的预测，
数据来自于GradientDescentExample中的data.csv文件，共100个数据点，如下图所示：
我们的目的就是做出一根直线对数据进行拟合，在开始之前我们先简单的介绍一些相关概念以及推导。
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
def load_data ():
data = pd.read_csv ('data.csv')
data = np.array (data)
# 手动添加一列
data = np.insert(data, 0, values = 1, axis = 1)
X = data [: ,0:-1]
Y = data [:, -1]
return X, Y
def show_data (X, y):
plt.figure (dpi = 120)
plt.scatter (X[:, -1], y)
plt.show()
if __name__ == '__main__':
X , Y = load_data()
show_data (X, Y)损失函数的推导过程
在线性回归中，我们用x1 ，x2，…, xn 来表示每个数据中的n个feature，用ω来表示每个特征变量x的系数，就像我们平去猜考虑期末考试回家会不会挨骂那样，我们会将许多因素都考虑进去，比如说考试分数，爸爸的心情，有没有拿奖状，以及隔壁家小孩考了多少分等等因素，最后可以得到一个预测公式，也就是拟合函数：
其中x0=1
这就是我们的预测函数，当然预测函数和真实值之间是有误差的，我们的目的就是缩小这个误差，那么从上面的公式中可以看到，缩小误差的核心目标那就是缩小参数ω,这个目标也就是线性回归的核心内容，那么下面我们就要先设置出损失函数J(ω)
- 首先我们开始定义变量的符号
1. y 表示为训练集所提供的结果
2. W 表示为预测函数中每个变量权重的向量形式
3. X 表示为训练集中每个变量的向量形式
4. ε 表示为真实值与预测值之间结果的误差
5. m 表示为训练集的数据数目
6. i 表示为这是训练集中的第几个数据
7. j 表示为这是数据中的第j个特征
那么真实值与预测值之间的关系可以用下式进行表示
其中 误差 ε 符合正态分布，就像去食堂打饭一样，喊阿姨少几块肉，喊姐姐多几块肉，永远会在那个区间上下浮动一样，那么ε值的概率公式为
- 由上式可以看出ε与L的关系，随之求最大似然估计
- 那么其损失函数为
- X 是一个 m 行 n 列的矩阵，其中 m 是数据的数目， n 是特征值的数目
- W是一个 n 行 1 列的矩阵 ，其中 n 是特征的数目
- y 是一个 m 行 1列的矩阵
def Cost_function (theta, X, y):
X_matrix = np.matrix (X)
y_matrix = np.matrix (y).T
temp = np.dot(X_matrix, theta) - y_matrix
J = 1 / 2 * (np.dot (temp.T, temp))
return J
通过损失函数对权重参数w进行缩小
我们由损失函数可以知道，权重参数w只决定了损失的大小，如果损失函数为0或接近不变的时候，那么这个时候w也就是最合适的时候，与此同时 损失函数的导数也就为0，那么可以得到下面的式子：
在这里需要强调一下，此时偏导所求的是学习方向，即像哪个方向更新数据
def Update_theta (theta, X, y, num = 150, a = 0.0001):
m, n = X.shape
theta0 = theta[0]
theta1 = theta[1]
x = X[:, -1]
for i in range (num):
pred = x * theta1 + theta0
temp_0 = np.sum(pred - y) / (m)
theta0 = theta0 - a * (temp_0)
temp_1 = np.sum((pred - y) * x) / (m)
theta1 = theta1 - a * (temp_1)
theta[0] = theta0
theta[1] = theta1
return theta
----------