机器学习：多远线性回归

一、多元线性回归基础

• 简单线性回归算法只有一个特征值（x），通常线性回归算法中有多个特征值，有的甚至有成千上万个特征值
• 多元线性回归中有多个特征值

　1）多元线性回归问题的解决思路

• 求解思路与简单线性回归的思路一样
• y = θ₀ + θ₁X₁¹ + θ₂X₂² + θ₃X₃³ + ... + θ_nX_nⁿ

1. X = array([X¹, X², X³ , ..., Xⁿ])^T：数据集
2. Xⁿ：数据集中的每一个向量，也是该数据集中的一个样本
3. X¹ = array([x₁, x₂, x₃,  ... , x_n])
4. x_n：每一行（一个样本）的一个元素（特征值）

• 

• 

　2）多元线性回归的公式推导

　　A）原始公式

• 

1. θ：参数向量，必须为列向量，才能与数据集矩阵X相乘：X*θ，得到的也是一个列向量
2. ý⁽ⁱ⁾：模型的预测值
3. X⁽ⁱ⁾：变形后的一个样本，也是变形后的数据集矩阵的第 i 行
4. X₀⁽ⁱ⁾：第 i 行的第0号元素；  #  原因：为了让计算式的每一项的格式统一，并且和θ₀结合在一起，方便整个公式的推导，虚构为X⁽ⁱ⁾的第0个特征；
5. X₀⁽ⁱ⁾ ≡ 1：此元素恒等于1，变形后的公式与原公式一样

　　B）变形数据集矩阵

• 

1. 新的数据集矩阵：X_b，比原矩阵X多了一列：X₀，全部为1
2. 变形后的数学模型：ý = X_b * θ
3. ý为列向量，每一个元素（ý⁽ⁱ⁾）为每一个样本X⁽ⁱ⁾讲过预测后得到的预测值
4. 矩阵相乘有先后，不能写成θ * X_b

　　C）优化目标函数

• 数学推导（对矩阵求导（非本科学校内容））：得到θ的表达式

1. 此公式为多元线性回归的正规方程解（Normal Equation）
2. 公式缺点：时间复杂度高：O(n³)，即使通过手段优化后：O(n^2.4) ，效率低；
3. 优点：不需要对数据做归一化处理；  # 因为数据集中的数据直接参数运算

二、实现多元线性回归