机器学习理论之线性回归

一、回归与分类的区别

•         回归的Y变量为连续数值型，如房价、人数等
•         分类的Y变量为类别型，如是否生存、颜色、有无癌症等

二、单变量线性回归

        使用一个简单的线性模型：

                                            

        来拟合现有的数据集。可以看到这个线性模型是以x为自变量，为因变量。

        逼近的过程，其实就是不断调节和的过程。那么是以什么为基准进行调节呢？

        基准就是和y的差值越小越好！

        因此定义了代价函数来衡量和y的差值大小。其中最常使用的代价函数为平方差：

                                   （m表示数据集大小）

        可以看到该函数是以和为自变量的函数。

        为求最小现有两种方法：

•     正规方程法：即求得使偏导为零的那些θ值
•    梯度下降法法：
  
    （for j=0 and j=1）

三、多变量线性回归

• 线性模型：

                                                           

• 代价函数：
                                                     

• θ：
                                                         
      通过对J求偏导得：
                                                      
  

• 单变量线性回归其实就是多变量线性回归的特例。

• 特征缩放：在进行模型训练之前，需要将特征进行特征缩放，一般是将其缩放为0~1，一般使用如下公式进行缩放：
                                                                   
      将特征进行缩放，可以加快学习速率。
  

• α选择：α如果过小则会学习速率过慢，如果过大则会震荡，一般是选择一系列α，并画出J关于迭代次数的函数。如果选择手链且学习速率较大的那个α值。

• 多项式回归：多项式回归可以处理非线性的情况，通过将表示为多项式，如，就可以模拟非线性的情况。只需要使：

                                                                    
        其他步骤和线性回归是一样的。

        正规方程求解：
                                                            
        由于求解正规方程的运算时间是,n表示训练集的大小。当训练集比较小，比如小于10000时，使用正规方程求解也能得到比较好的。但当训练集很大时，运算速度就会非常慢，因此使用梯度下降法是个比较好的选择。如果矩阵不可逆，伪逆也可以接受。一般矩阵不可逆有两种情况：特征大于样本；特征重复。