前言
在看PCA时，涉及到一个重要概念“协方差”，这里正好总结一下概率论中的几个基础概念：
1.平方差
其实平方差严格来说不算概率论中的概念，是数学公式的一种，它属于乘法公式、因式分解及恒等式，被普遍使用。平方差指一个平方数或正方形，减去另一个平方数或正方形得来的乘法公式：a²-b²=(a+b)(a-b)。.
2.随机变量
随机变量是可以随机的取不同值的变量，只是对可能状态的描述，不能说一个随机变量是多少，只能说随机变量的取值是多少，其分为离散型随机变量和连续型随机变量，离散型随机变量用概率质量函数描述，连续型随机变量用概率密度函数描述，概率质量函数有二项分布等，连续性随机变量有正态分布等。
还有一个概念“多维随机变量”需要说明，这在后面介绍协方差矩阵时能够用到，“多维”就是就“多个”随机变量组成的意思，
3.数学期望
数学期望，方差，标准差（均方差）都是随机变量的性质，数学期望即均值，反映随机变量随机取值的大小，可以粗略的理解为随机变量的一阶矩
4.方差
方差是表示随机变量或者一组数据离散程度大小的数据，比如说两组数据[1,13,16,-2],[6,8,7,7]，他们的数学期望都是7，但是很明显的第一组数据比第二组离散程度要大得多，那么这个“程度”要如何表示呢？可以粗略的理解为随机变量的二阶矩，公式如下：
对于第一组数据来说，方差大约为59，第二组仅为0.5。
5.标准差（均方差）
标准差在中文环境下又叫均方差，其是方差的算术平方根，它反映组内个体间的离散程度。其公式如下：
6.协方差
上面说到的方差，标准差，数学期望都是针对“一组”随机变量来说的，而协方差是针对两组数据，也就是两个随机变量来说的，反映的是两组随机变量之间相关关系，其公式推导过程如下：
这里有一篇讲的特别好的博文，引用一下https://blog.csdn.net/GoodShot/article/details/79940438
，其最后得到了结论：
还有值得注意的一点是：方差是协方差的一种特殊形式，也就是当两个变量相同时，这两个变量的协方差就是其中一个变量的方差，其推导过程如下：
7.相关系数
先上公式：
相关系数反映的是两组变量在剔除变化幅度这一影响因素下的相关性的大小。
这里有一篇知乎的解释，笔者觉得最为通俗易懂，附上链接：https://www.zhihu.com/question/20852004
8.协方差矩阵
协方差矩阵是针对多维随机变量来说的，其是一个实对称矩阵，符合转置等于其本身的性质，其对角线上的值就是各个随机变量的方差。