统计入门——可汗学院

统计入门——可汗学院

Sample and population

Sample is a part of population that is so selected to represent the entire group.

阅读资料：
Sample Vs Population
Difference between sample and population

Summary of Population and Sample

Measurement of central tendency of a data set: Mean, Median
Measurement of dispersion: Variance, Standard deviation

Concept	Description	Sample	Population
Mean	The mean of a sample or a population is computed by adding all of the observations and dividing by the number of observations.	$\bar{X} = \frac{\sum_{i = 1}^{n} x_{i}}{n}$ $\overline{X}=\frac{\sum_{i=1}^{n}x_i}{n}$	$μ = \frac{\sum_{i = 1}^{N} x_{i}}{N}$ $\mu=\frac{\sum_{i=1}^{N}x_i}{N}$
Variance	In a population, variance is the average squared deviation from the population mean.	$s^{2} = \frac{\sum_{i = 1}^{n} (x_{i} - \bar{X})^{2}}{n - 1}$ $s^2=\frac{\sum_{i=1}^{n}(x_i-\overline{X})^2}{n-1}$	$σ^{2} = \frac{\sum_{i = 1}^{N} (x_{i} - μ)^{2}}{N}$ $\sigma^2=\frac{\sum_{i=1}^{N}(x_i-\mu)^2}{N}$
Standard Deviation	The standard deviation is the square root of the variance	$s = \sqrt{\frac{\sum_{i = 1}^{n} (x_{i} - \bar{X})^{2}}{n - 1}}$ $s=\sqrt{\frac{\sum_{i=1}^{n}(x_i-\overline{X})^2}{n-1}}$	$σ = \sqrt{\frac{\sum_{i = 1}^{N} (x_{i} - μ)^{2}}{N}}$ $\sigma=\sqrt{\frac{\sum_{i=1}^{N}(x_i-\mu)^2}{N}}$

方差的另一个公式：

\begin{aligned} σ^{2} & = \frac{\sum_{i} (x_{i} - μ)^{2}}{N} \\ = \frac{\sum_{i} x_{i}^{2} - 2 μ \sum_{i} x_{i} + \sum_{i} μ^{2}}{N} \\ = \frac{\sum_{i} x_{i}^{2}}{N} - μ^{2} \end{aligned}

$\begin{align*} \sigma^2&=\frac{\sum_{i}(x_i-\mu)^2}{N}\\ &=\frac{\sum_{i}x_i^2-2\mu\sum_{i}x_i+\sum_{i}\mu^2}{N}\\ &=\frac{\sum_{i}x_i^2}{N}-\mu^2 \end{align*}$

Law of Large Number

可以参见之前一篇：大数定理和中心极限定理
 谢益辉：大数定理和中心极限定理

概率论中讨论随机变量序列的算术平均值向随机变量各数学期望的算术平均值收敛的定律。在随机事件的大量重复出现中，往往呈现几乎必然的规律，这个规律就是大数定律。通俗地说，这个定理就是，在试验不变的条件下，重复试验多次，随机事件的频率近似于它的概率。

所谓大数定律是， $X_1,X_2$ ,…是一列独立同分布 $(i.i.d)$ 的可积随机变量， $EX_n=\mu ，\bar{X_n}= \frac{X_1+X_2+...+X_n}{n}$ ，则 $E\bar{X_n}\rightarrow \mu .$
最后收敛的方式是依概率收敛的话称作弱大数定律，几乎处处收敛的话称作强大数定律。
这里写图片描述

Central limit theorem

中心极限定理描述随机变量序列收敛于正态分布。
就是说从一个存在均值和方差的总体中简单随机抽样得到的样本均值是服从正态分布的（当n>=30）。
这里写图片描述

图中为随机变量的概率分布，假设样本大小为4，不断抽样，计算样本均值。

绘制频率直方图，可以发现，随着样本大小n的增大，样本均值（随机变量）会越来越接近正态分布。

这里写图片描述

当样本量 $n$ 逐渐趋于无穷大时， $n$ 个抽样样本的均值的频数逐渐趋于正态分布，其对原总体的分布不做任何要求，意味着无论总体是什么分布，其抽样样本的均值的频数的分布都随着抽样数的增多而趋于正态分布，如上图，这个正态分布的均值会越来越逼近总体均值，并且其方差满足 $\frac{\sigma^2}{n}$ ， $\sigma$ 为总体的标准差，注意抽样样本要多次抽取，一个容量为N的抽样样本是无法构成分布的。

中心极限定理和大数定律的区别

Sampling distribution

What is a sampling distribution?

What is the distribution of the values that we could get for the statistics?
what is the frequency with which I can get different values for the statistic that is trying to estimate the parameter?
That distribution is a sampling distribution.
这里写图片描述