//2019.08.04
＃線形回帰アルゴリズムの基本（線形回帰）
1、線形回帰アルゴリズムである教師あり学習アルゴリズムを解決する非常に一般的な回帰問題は、以下の特性を有する：
（1）一般的な回帰アルゴリズム、缶現実的な問題を解決するために戻り、および
（2）シンプルなアイデア、簡単に実装すること;
（3）多くの強力な非線形アルゴリズムモデルの基礎は、
（4）の結果は良い説明を持つことができる;
（5）機械学習が含まれています多くの重要なアイデア。
図2に示すように、線形回帰と分類の継続性と像点の分布にそのマーク、さらにデータに離散結果の差は、軸はサンプルデータの分類問題であることを特徴とする請求、線形回帰座標存在しなければなりません軸がデータをラベル付けされている（すなわち、結果値）
1
3、単純な線形回帰：サンプルデータの特徴を指すが、唯一のものである、線形回帰問題は、単純な線形回帰となります。
2
4、アイデアを解決するために、具体的な数学を回帰アルゴリズムの学習にパラメータを持つほぼすべてのマシンは次のとおりです。特定の問題の分析を通じて、機能やユーティリティ機能の問題の損失を決定するために、次にソリューション数学的最適化の損失モデルのサイズに必要なパラメータを決定する機能やユーティリティ関数、最終的に得られるモデルの機械学習。この問題の全体が解決されるには、最適化と凸最適化原理が重要な役割を果たしていました。
3
5は、そのような損失関数のための単純な線形回帰の問題、即ち、唯一の機能データベース・データ・セットの最小、および最適パラメータaを達成するために（ここでは、予測値と真値との誤差を二乗手段）とBは、この特定の方法は、次のように計算式の最良のパラメータa、bを得ることができ、最小二乗法を使用して、最小二乗法と呼ばれています。
图4
6、在简单线性回归中，对于模型参数a和b的求取最后需要尽可能地化简为向量化之间的运算，向量化运算可以大幅度地降低整体运算的计算量，提高整体的运算效率。
向量化运算是机器学习算法中非常重要的思想，它是提高机器学习算法计算效率的非常有效的方法。
图5
7、对于线性回归算法的评判标准主要有以下指标：
(1)MSE：均方误差
(2)RMSE:均方根误差
(3)MAE:平均绝对误差
图6
8、在scikitlearn中调用回归问题的三大指标的方法：
#利用sklearn里面的merics模块导出三大函数，直接进行调用计算
from sklearn.metrics import mean_absolute_error
from sklearn.metrics import mean_squared_error
print(mean_squared_error(y_test,y_predict))
print(mean_absolute_error(y_test,y_predict))
9、对于不同的评价指标RMSE和MAE两者，它们都与原始数据的y的量纲是相同的，所以也常用来作为不同训练模型的评价指标。
对于这两个指标，由它们的表达式可知，RMSE中存在平方操作，将平方累加后再开方，这样的操作具有放大样本中较大误差的趋势，因此使得RMSE最小更加有意义，因为这样意味着样本中所存在的最大的误差值最小，而MAE主要是所有误差的平均值。
另外，对于我们训练优化的目标函数与RMSE中的函数组成一致，这样有利于使得测试数据中的目标函数值具有变小的趋势。综上所述，我们对于不同的训练模型应该尽可能使会更有意义。
图7
10、对于线性回归，其最好的评价指标是R2,并且sklearn中最终输出的准确度score()，其实际输出也就是所谓的R2，其计算方式如下：
图8
根据R2的计算方式，可以知道不同的线性回归模型的准确度也可以将R2归类到0-1之间，并且随着R2增大，其训练模型的准确度也越来越高。
在sklearn中也可以直接进行调用输出上面的四个回归问题的评价指标MSE,RMSE,MAE以及R2，其实现代码如下：
#利用sklearn里面的merics模块导出三大函数，直接进行调用计算
from sklearn.metrics import mean_absolute_error
from sklearn.metrics import mean_squared_error
from sklearn.metrics import r2_score #直接调用库函数进行输出R2
print(mean_squared_error(y_test,y_predict))
print(mean_absolute_error(y_test,y_predict))
print(r2_score(y_test,y_predict))
实现结果如下：
