协方差矩阵—黑塞矩阵—正定矩阵

一、基本概念

1.1 协方差矩阵 及推导

在统计学中用标准差描述样本数据的 “散布度” 公式中之所以除以 n-1 而不是 n, 
是因为这样使我们以较少的样本集更好的逼近总体标准差。即统计学上所谓的 “无偏估计”。 

协方差矩阵的计算：

$$cov(z) = \begin{pmatrix} 1 & 2 &3 &4 \\ 3&4 &1 & 2\\ 2& 3& 1& 4 \end{pmatrix}j$$

将二元函数的泰勒展开式推广到多元函数，则$f(x_1,x_2,...x_n)在X^{(0)}$点处的泰勒展开式的矩阵形式为：

$$f(X) = f(X^{(0)})+ \triangledown f f(X^{(0)})^T\Delta X+\frac{1}{2}\Delta X^TG(X^{(0)})+\Delta X...$$

1.2 黑塞矩阵 示例

1.3 正定矩阵定义及性质

在线性代数中，正定矩阵（positive definite matrix）简称正定阵。

定义：A是n阶方阵，如果对于任何非零向量x都有$x^TAx>0$就称A正定矩阵。

1.4 正定矩阵 示例