1.协方差（Covariance）
在概率论和统计学中用于衡量两个变量的总体误差，方差是协方差的一种特殊情况（两个变量相同）。协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。
协方差用于表示变量间的相互关系：正相关、负相关、不相关
正相关：假设有两个变量x和y，若x越大y越大；x越小y越小则x和y为正相关。
负相关：假设有两个变量x和y，若x越大y越小；x越小y越大则x和y为负相关。
不相关：假设有两个变量x和y，若x和y变化无关联则x和y为负相关。
维度多的时候可以用协方差矩阵来表示，公式如下：
注意：协方差矩阵为对称矩阵并且对角线上的元素为各维度的方差。
2.多维高斯分布