人工智能必备数学基础--精华笔记

废话

听说这年头博客和github跟名片一样？那我干脆把笔记记在博客好了，反正云上笔记也不容易丢。课程跟的是唐宇迪的人工智能必备数学基础，主要记录一些自己的理解和搜集的有助于理解的资料，方便回顾时迅速get到要点。网课CSDN学院,网易云课堂和腾讯课堂都有（mai bu qi de hua dao ban ye you），鼓励各位支持正版哈，授课老师属于少数的不废话的好老师。回归正题，研究ML（机器学习）、DL（深度学习）方面的童鞋没有数学支撑的话读论文或者搞创新都是很吃力的，磨刀不误砍柴工。

笔记

高等数学基础

函数

1. $y = f(x)　x：自变量　y：因变量$
2. $函数值表达形式：y_0 = y\mid_x=x_0 = f(x_0)$
3. $函数俩种表达式：$eg.
   $显函数 y = x^2+1$
   $隐函数 F(x, y) = 0 即 x^2-y+1 = 0$
4. $偶函数：f(-x) = f(x)$
5. $奇函数：f(-x) = -f(x)$
6. $周期性：f(x+T) = f(x)$
7. $单调性：$
   

极限

1. 数列：u₁，u₂，u₃，…，u_n ，… 其中u_n叫做通项
   n → $\infty$ 时，若通项趋近于常数C，则称数列收敛于A否则称数列为发散

2. 趋近符号含义
   $x → x_0：当x从x_0两侧趋近于x_0时$
   $x → x_0^+：当x从x~0~右侧趋近于x_0时$
   $x → x_0^-：当x从x~0~左侧趋近于x_0时$

3. 极限

4. 无穷小
   以零为极限 eg.
   $\lim_{\Delta x\to \infty}\frac{1}{x}=0,则\frac{1}{x}是x\rightarrow\infty时的无穷小$
   $\lim_{\Delta x\to 2}(3x-6)=0,则3x-6是x\rightarrow2时的无穷小$

   ①无限个无穷小之和不一定是无穷小。
   $\lim_{n\to\infty}(\frac{1}{n^2}+\frac{2}{n^2}+…+\frac{n}{n^2})=\lim_{n\to\infty}\frac{\frac{n(n+1)}{2}}{n^2}=\lim_{n\to\infty}\frac{n+1}{2n}=\frac{1}{2}$

   ②无穷小的商不一定是无穷小。
   $\lim_{x\to0}\frac{x}{2x}=\frac{1}{2}　\lim_{x\to0}\frac{x^2}{2x}=0　\lim_{x\to0}\frac{2x}{x^2}=\infty$

   ③无穷小的比较
   $\lim_{x\to x_0}\alpha(x)=0　\lim_{x\to x_0}\beta(x)=0$

   $lim_{x\to x_0}\frac{\alpha(x)}{\beta(x)}=0，则\alpha比\beta高阶$

   $lim_{x\to x_0}\frac{\alpha(x)}{\beta(x)}=\infty，则\alpha比\beta低阶$

   $lim_{x\to x_0}\frac{\alpha(x)}{\beta(x)}=C≠0，则\alpha与\beta同阶$

函数的连续性

$设函数f (x)在点x_0的某邻域内有定义,如果当自变量的改变量△x趋近于 零时,相应函数的改变量△y也趋近于零,则称y = f (x)在点 x_0处连续$

条件

1. 函数在该点处有定义
2. 函数在该点处极限存在
3. 极限值等于函数值

导数

$如果平均变化率的极限存在\lim_{x\to 0}\frac{\Delta x}{\Delta y}=\lim_{x\to 0}\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$
$则称此极限为函数y=f(x)在点x_0处的导数,f'(x_0),y'\mid_{x=x_0},\frac{dy}{dx}\mid_{x=x_0},\frac{df(x)}{dx}\mid_{x=x_0}$

偏导数

$设函数z=f(x,y)在点(x_0,y_0)的某个邻域内有定义，$ $定y=y_0$ $，一元函数f(x,y_0)在点x=x_0处可导，即极限\lim_{\Delta x\to 0}\frac{f(x_0+\Delta x,y_0)-f(x_0,y_0)}{\Delta x}=A，则称A为函数：z=f(x,y)在点(x_0,y_0)处关于自变量x的偏导数，记作f_x(x_0,y_0)或\frac{\partial z}{\partial x}\mid_{x=x_0},\frac{\partial f}{\partial x}\mid_{x=x_0},Z_x\mid_{x=x_0}$

几何意义
$\frac{\partial}{\partial x}f(x,y_0)\mid_{x=x0} 是曲线 y =\begin{cases} z=f (x,y)\\ y=y_0 \end{cases}在点M_0处的切线M_0T_x对x轴的斜率$

$eg.求f(x,y)=x^2+3xy+y^2在点(1,2)处的偏导数$
$f_x(x,y)=2x+3y　f_x(1,2)=8$
$f_y(x,y)=3x+2y　f_y(1,2)=7$

方向导数

设 $l$ 为任意一个方向向量
$z=f(x,y)$
$\frac{\partial f}{\partial l}=\lim_{\rho\to0}\frac{f(x+\Delta x,y+\Delta y)-f(x,y)}{\rho=\sqrt{\Delta x^2+\Delta y^2}}=\frac{\partial f}{\partial x}\cos \psi+\frac{\partial f}{\partial y}\sin \psi$

$方向导数为某一方向向量l所在平面与函数相交形成的曲线在x_0处的导数$
$偏导数是l为坐标轴方向的方向导数$

梯度

函数在某点的梯度是一个方向向量(x,y),它的方向等于方向导数最大值取得的方向一致，其大小正好是最大的方向导数 eg.

2019.1.13　7:28

微积分

求曲边面积

1. 微分矩形：把曲面分为无穷个小矩形，则曲面面积近似于无数个小矩形面积的总和
   $S=\int_a^bf(x)\Delta x　(当\Delta x\to0时,\xi=f(x))$

2. 函数意义替换：把 $f(x)$当作 $F(x)$的导函数 $F'(x)$，则

   $f(x)在\Delta x上的积分\int_a^bf(x)dx$
   $=F'(x)的积分\int_a^bF'(x)dx$
   $=\int_a^b\frac{dy}{dx}\cdot dx=\int_a^bdy　(dx\to0)$
   $≈函数F(x)在[a,b]区间的增量\int_a^b\Delta y$
   $=F(b)-F(a)$
   导函数线下面积=原函数改变量
   
   $x\to0时，\Delta y=dy$

定积分

第一中值定理

$\xi左移，求得的S偏小　\xi右移，求得的S偏大$
$故必存在\xi，使求得的S刚刚好$

牛顿—莱布尼茨公式

$图中f(x)表示上述F(x)$
eg.

2019.2.4　3:48

泰勒公式与拉格朗日

泰勒公式出发点(函数化简)

1. 用简单的熟悉的多项式来近似代替复杂的函数
2. 易计算函数值，导数与积分仍是多项式多项式由它的系数完全确定，其系数又由它在一点的函数值及其导数所确定。易计算函数值，导数与积分仍是多项式
3. 多项式由它的系数完全确定，其系数又由它在一点的函数值及其导数所确定。多项式由它的系数完全确定，其系数又由它在一点的函数值及其导数所确定。

以直代曲

$当(x-x_0)\to0时，f(x)=f(x_0)+\int_{x_0}^xf'(x)(x-x_0)≈f(x_0)+f'(x_0)(x-x_0)$

一点一世界

泰勒多项式

$P_n(x)=f(x_0)+f'(x_0)(x-x_0)+\frac{f''(x_0)}{2!}(x-x_0)^2+…+\frac{f^{(n)}(x0)}{n!}(x-x_0)^n$
$称为f(x)在x_0关于(x-x_0)的n阶泰勒多项式$

推导变换过程

$f(a+\Delta x)=f(a)+\int_a^{a+\Delta x}f'(x)dx　（牛顿—莱布尼茨公式）$
　　　　　　 $=f(a)+f'(a)\Delta x+\frac{f''(a)}{2}\Delta x^2+\int_0^{\Delta x}\int_a^{a+t}\int_a^{a+t_1}f'''(x)dxdxdt　（换元x=a+t）$
　　　　　　
具体过程请参考这篇博客

任意多阶可导函数可被展开为泰勒多项式以简化函数表达

麦克劳林公式

指定 $x_0=0的泰勒公式$
$f(x)=f(0)+f'(x)x+\frac{f''(0)}{2!}x^2+…+\frac{f^{(n)}(0)}{n!}x^n+\frac{f^{(n+1)(\theta x)}}{(n+1)!}x^{n+1}(0<\theta<1)$
$f(x)≈f(0)+f'(x)x+\frac{f''(0)}{2!}x^2+…+\frac{f^{(n)}(0)}{n!}x^n$

多项式逼近

多阶导数的意义
eg. $f(x)=e^x$

阶数

指数项的意义

阶乘

控制x小时低阶数大权重，x大时高阶数大权重（初始系数）

拉格朗日乘子法(求满足约束时函数极值)

$函数：f(x,y)　约束：g(x,y)=C　求满足约束条件的函数极值$


当 二维曲线 $g(x,y)=C$ 与函数 $z=f(x,y)$ 的某条等高线(也是 二维曲线 ) $f(x,y)=d(常数)$ 相切时取得极值，此时俩曲线在切点处的法向量即 梯度向量(方向导数取最大值时的 $l$ 方向，二维向量) 平行（此时梯度可能不相等）

2019.2.5　17:53

线性代数基础

矩阵与行列式的区别

矩阵类型

方阵

三角矩阵

对角阵和单位矩阵

矩阵操作

矩阵数乘

矩阵乘法

矩阵结合律
$(AB)C = A(BC)$
$\lambda (AB)=(\lambda A)B=A(\lambda B)$

矩阵分配律
$A(B+C)=AB+AC$
$(B+C)A=BA+CA$

矩阵转置

对称矩阵

逆矩阵

矩阵的秩

指的矩阵的各行向量的极大线性无关组数即相互不平行的行向量数
零向量可看作与任何向量平行
矩阵的行秩=列秩
eg. 矩阵只需秩序为3

向量的内积

对应位置相乘后求和

内积的几何意义
物理背景下力做的功

图片来源

向量的长度

向量的正交

向量正交 ⇔ 垂直 ⇔ 内积为零

规范正交基

2019.2.6　14:16

特征值与矩阵分解

特征值与特征向量

Continuously Updating……