导数和偏导数
解析：导数是指对X一个自变量求倒，偏导数是有两个或多个变量求倒
导数：z=f(x,y)点(x0,y0)是其定义域D内一点.把y固定在y0而让x在x0有增量△x
偏导数：△z=f(x0+△x,y0)-f(x0,y0)，如果△z与△x之比当△x→0时的极限存在,那么此极限值称为函数z=f(x,y)在(x0,y0)处对x的偏导数.
说明：几何意义上的理导数只是在二维平面上一条曲线上某点的斜率.偏导数是在三维空间内有一张曲面f,垂直于Y轴切曲面一刀可以得到刀具与曲面间的一条曲线,对这条曲线某一点求斜率就是传说中的 偏f/偏x；同理垂直于x轴切曲面一刀可以得到刀具与曲面间的另一条曲线,对这条曲线某一点求斜率就是传说中的 偏f/偏y.总之,都可以看做求斜率,只不过一个二维一个三维.
奇异矩阵和满秩矩阵
由定义直接可得n阶可逆矩阵的秩为n，通常又将可逆矩阵称为满秩矩阵, det(A)≠0；不满秩矩阵就是奇异矩阵，det(A)=0。
矩阵的秩
如果一个矩阵Am×n存在k阶子式不为0，且任意k+1阶子式全为0，称这个矩阵的秩是k，r(A)=k。
高斯分布
- 正态分布（Normal distribution），也称“常态分布”，又名高斯分布（Gaussian distribution），最早由A.棣莫弗在求二项分布的渐近公式中得到，高斯分布函数代表的是概率分布函数
- 测量误差（测量）服从高斯分布的情况下， 最小二乘法等价于极大似然估计
- 正态曲线呈钟型，两头低，中间高，左右对称因其曲线呈钟形，因此人们又经常称之为钟形曲线
- 若随机变量X服从一个数学期望为μ、方差为σ^2的正态分布，记为N(μ，σ^2)。其概率密度函数为正态分布的期望值μ决定了其位置，其标准差σ决定了分布的幅度。当μ = 0,σ = 1时的正态分布是标准正态分布
- 一维正太分布公式：
- 标准正太分布公式：
,其中x为误差项，相当于，x不是曲线函数中的自变量，而
- 正态分布图形特征：
- 参数的含义：
- 正态分布有两个参数，即期望（均数）μ和标准差σ，σ2为方差。
- 正态分布具有两个参数μ和σ^2的连续型随机变量的分布，第一参数μ是服从正态分布的随机变量的均值，第二个参数σ^2是此随机变量的方差，所以正态分布记作N(μ,σ2)。
- μ是正态分布的位置参数，描述正态分布的集中趋势位置。概率规律为取与μ邻近的值的概率大，而取离μ越远的值的概率越小。正态分布以X=μ为对称轴，左右完全对称。正态分布的期望、均数、中位数、众数相同，均等于μ。
对数公式
- 对数公式是数学中的一种常见公式，如果a^x=N(a>0,且a≠1)，则x叫做以a为底N的对数,记做x=log(a)(N)，其中a要写于log右下。其中a叫做对数的底，N叫做真数。通常我们将以10为底的对数叫做常用对数，以e为底的对数称为自然对数。
- 基本性质：
-
-
-
-
- 负数与零无对数.
-
*
=1 -
-
-
-
-
最大似然估计
- 是根据已有的大量样本（实际上就是利用已知的条件）来推断事件本身的一些属性参数的方法，最大估计更是最能反映这些出现的样本的，所以这个参数值也是最可靠和让人信任的，得到这个参数值后，等来了一个新样本 X(i+1) 后，我们可以预测它的标签值
- 最大似然函数应用：https://mp.weixin.qq.com/s/Wb7rXEBK_UVV1hgJBjzaEA
- 公式：
极小值
- 在某一坐标点，斜率为0的点，也就是斜率与x轴平行
- 求自变量的偏导数，可以求得函数的极小值
- 在偏导为零的这个点,函数对求偏导的自变量的变化率是零,也就是说在认为其他自变量为常量的情况下,函数在这一点的变化是零
梯度下降
- 梯度下降的方向就是在该点处使值变小最快的方向
- 梯度是函数在某点处的一个方向，并且沿着该方向变化最快，变化率最大
- 用数学方法直接求解最小二乘项的权重参数，然而有时参数是无法直接求解的，此时我们就得借助梯度下降法，不断迭代直到收敛得到最终的权重参数