机器学习数学基础

　　线性代数知识
　　微积分知识
　　概率与统计知识

线性代数

矩阵中的基本概念、矩阵的加法、矩阵的乘法、矩阵的转置、矩阵的运算法则、矩阵的逆

矩阵

矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合
矩阵最早来自于方程组的系数及常数所构成的方阵，最初是用来解决线性方程求解的工具
矩阵是高等代数中的常见工具，也常见于统计分析等应用数学学科中；矩阵在物理学和计算机科学中都有应用
矩阵的运算是数值分析领域的重要问题

定义：

　　由 m × n 个数 a_ij (i = 1,2,...,m; j = 1,2,...,n) 排成的 m 行 n 列的数表 A 就称为 m 行 n 列的矩阵
　　这 m × n 个数称作矩阵 A 的元素，元素 a_ij 位于矩阵 A 的第 i 行第 j 列
　　m × n 矩阵 A 可以记作 A_m×n，其中 m是行数，n是列数，m, n > 0

　　特殊矩阵：对于A_m×n，如果 m = n，即矩阵的行数与列数相等，那么称A为方阵

基本概念：

行数与列数都等于 n 的矩阵称为 n 阶矩阵，又称做 n 阶方阵，可以记作 A_n

扫描二维码关注公众号，回复： 7534614 查看本文章

只有一行的矩阵 A_1×n 称为行矩阵，又叫行向量

同样，只有一列的矩阵 A_n×1 称为列矩阵，又叫列向量

对于方阵，从左上角到右下角的直线，叫做主对角线，主对角线上的元素称为主对角线元素

特殊矩阵：

　　矩阵的元素全部为0，称为零矩阵，用 O 表示

　　对于方阵，如果只有对角线元素为1，其余元素都为0，那么称为单位矩阵，一般用 I 或者 E 表示

　　对于方阵，不在对角线上的元素都为0，称为对角矩阵

矩阵的加法

　　把矩阵的对应位元素相加

　　矩阵的形状必须一致，即必须是同型矩阵

矩阵的乘法

1. 数与矩阵相乘

数值与矩阵每一个元素相乘

2. 矩阵与矩阵相乘

　　左矩阵的每一行与右矩阵的每一列，对应每一个元素相乘

　　A × B，那么有 A 矩阵 m × n，B 矩阵 n × k，要求左侧矩阵的列数 n，必须等于右侧矩阵的行数 n，结果矩阵 C 为 m × k 矩阵。

规则：一行乘一列，行定列移动，列尽下一行

矩阵的转置

把矩阵 A 的行换成相同序数的列，得到一个新矩阵，叫做 A 的转置矩阵，记作 A^T
行变列，列变行
A 为 m × n 矩阵，转置之后为 n × m 矩阵

矩阵的运算法则

加法

　　A + B = B + A

　　( A + B ) + C = A + ( B + C )

减法

　　A - B = A + B × ( -1 )

　　A - A = A + ( -A ) = O

乘法

　　( λμ ) A = λ ( μA )

　　( λ + μ ) A = λA + μA

　　λ ( A + B ) = λA + λB

　　( AB ) C = A ( BC )

　　λ ( AB ) = ( λA ) B = A ( λB )

　　A ( B + C ) = AB + AC

( B + C ) A = BA + CA

转置

　　( A^T )^T = A

　　( A + B )^T = A^T + B^T

　　( λA )^T = λA^T

　　( AB )^T = B^T A^T

矩阵的逆

　　对于 n 阶方阵 A，如果有一个 n 阶方阵 B，使得 AB = BA = E，就称矩阵 A 是可逆的，并把 B 称为 A 的逆矩阵

　　A 的逆矩阵记作 A^-1，如果 AB = BA = E，则 B = A^-1

微积分基本知识

什么是导数，偏导数，方向导数和梯度，凸函数和凹函数

导数

　　导数反映的是函数 y = f(x) 在某一点处沿 x 轴正方向的变化率；

　　在x轴上某一点处，如果 f’(x)>0，说明f(x)的函数值在x点沿x轴正方向是趋于增加的；

　　如果 f’(x)<0，说明f(x)的函数值在x点沿x轴正方向是趋于减少的。

偏导数

导数与偏导数本质是一致的，都是当自变量的变化量趋于0时，函数值的变化量与自变量变化量比值的极限
偏导数也就是函数在某一点上沿某个坐标轴正方向的的变化率
导数指的是一元函数中，函数 y=f(x) 在某一点处沿 x 轴正方向的变化率；而偏导数，指的是多元函数中，函数 y=f(x₁,x₂,…,x_n) 在某一点处沿某一坐标轴（x_1,x₂,…,x_n）正方向的变化率