机器学习：线性回归法（Linear Regression）

一、功能与特点

　1）解决回归问题

　2）思想简单，实现容易

　　　# 因为算法运用了很多的数学推到，使计算机实现变得容易

　3）许多非线性模型的基础

　4）结果具有很好的可解释性

　　　# 算法系统通过学习数据，训练模型，可以学到真实世界中真实的知识

　5）蕴含机器学习中的很多重要思

二、定义与思路

• 目的：根据样本特征，预测样本的其它性质、特征或数据；
• 思路：寻找一条直线，最大程度的“拟合”样本特征和样本输出标记之间的关系，建立数学模型，求解最优的数学模型对应的参数；
• 例：根据房子的面积预测房子的价格，面积是房子特征，价格是房子的输出标记；

三、简单线性回归

• 单线性回归：样本特征只有一个；
• 数学模型：y = ax + b

四、最优化

　1）思路

• 假设的线型关系：y = ax + b
• （x_i, y_i）：为训练集中的一个样本点
• ý = ax_i + b，（x_i, ý）：是根据数学模型得到的点
• |ý - y_i| = |ax_i + b - y_i|：一个预测值与其真实值之间的距离
• 训练集中，所有样本的预测值与其真实值之间的距离和，优化出最小距离和所对应的a、b，即为得出最优的数学模型；
• 公式：（ax_i + b - y_i）²，来表示一个样本点的距离，而不用绝对值，因为优化过程中使用绝对值计算不方便；

　2）公式

• m：训练集中的m个样本

• x⁽ⁱ⁾ 和 y⁽ⁱ⁾：训练集中的特征和其对应的标记值

• x + - 和 y + -：训练集中特征和标记的均值

五、其它

• 很多学界领域的研究，很多时候都会首先尝试使用线性回归算法这种最基础最简单的方式
• 回归问题中，具体预测的是一个数值，这个具体的数值是在一个连续的空间里的
• 所谓的建模的过程，其实就是找到一个数学模型，最大程度的“拟合”数据，如：y = ax + b
• 所谓最大程度“拟合”数据，本质就是找到一个函数（目标函数），度量出模型没有“拟合”住的那一部分样本，或者度量出能最大“拟合”的程度
• 在线性回归算法中，建立的模型就是一个直线方程
• 目标函数：损失函数、效用函数
• 特征空间中，有些点在数学模型上（满足数学模型的关系），有些不模型上，不在数学模型上的那部分点，称为损失的数据
• 效用函数：度量的是“拟合”的程度

　

　机器学习算法的思路

1. 分析问题，确定问题的目标函数（损失函数或者效用函数）
2. 最优化目标函数，获取机器学习的模型：优化损失函数，使其尽可能的小；优化效用函数，使其尽可能的大；

• 所有的参数学习算法都是这样的套路：线性回归、多项式回归、逻辑回归、SVM、神经网络等，区别在于这些算法的模型、目标函数、优化方式不同；
• 有一个学科：最优化原理，凸优化为最优化原理的分支，专门研究优化问题
• 解决了最优化的问题后，就获得了一个机器学习的模型；