【统计学习笔记】最大似然法

【统计学习笔记】最大似然法

最大似然原理

随机试验有若干个可能的结果，如果在一次试验中结果A发生，而导致结果A发生的原因有很多，在分析导致结果A发生的原因时，使结果A发生的概率最大的原因，推断为导致结果A发生的真实原因。

似然函数

设$X_1,X_2,\cdots ,X_n$使来自总体X的样本，$x_1,x_2,\cdots ,x_n$是样本观察值，令

$$L(\theta )=L(\theta ;x_1,\cdots ,x_n)=\{\begin{array}{ll}\prod _{i=1}^{n}p(x_i;\theta )& 当X是离散型变量\\ \prod _{i=1}^{n}f(x_i;\theta )& 当X是连续型变量\end{array}$$

称$L(\theta )$为似然函数。
当总体是离散型时，它是样本$X_1,X_2,\cdots ,X_n$取可能值$x_1,x_2,\cdots ,x_n$的概率。
当总体是连续型时，它是样本取观察值的概率“密度”。

最大似然估计量

参数空间中，始得似然函数取最大值的参数，称为参数的最大似然估计量。