之前一直对极大似然估计云里雾里，下午特意抽空查阅资料，整理成一篇较为通俗易懂的博文。
概念
为了更通俗的理解极大似然估计法，我们可以把极大似然估计拆成三个词，意思分别如下：
- 极大：最大的概率
-
似然：像是这个样子的
- 估计：那就是这个样子
连起来就是，最大的概率像是这个样子的，那就是这个样子。
举个例子
如图，有两个外形完全相同的箱子。甲箱中有99个白球1个黑球，乙箱中有99个黑球1个白球。一次试验，取出的是黑球。 那么这个黑球最像是从哪个箱子取出的？大多数人都会说，这个黑球最像是从乙箱中取出的，这个推断符合人们的经验，即为“最大似然”。
总结来说，最大似然估计 假设模型是确定的，然后利用抽取的样本结果，反推最大概率导致这样结果的模型参数值，即：“模型已定，参数未知”。
因此，样本结果的概率，是一个带模型参数的似然函数。最大似然估计法的目标就是最大化似然函数，用最优化算法求解 导致样本结果概率最大的参数值。
极大似然估计的描述
极大似然估计中采样需满足一个很重要的假设，就是所有的采样都是独立同分布的。
首先，假设
为独立同分布的采样，θ为模型参数, f 为所使用的模型。因此，产生上述采样结果的概率可表示为：
f(x_1,x_2,...,x_n|\theta) = f(x_1|\theta)
由于极大似然估计法中，我们已知的为
，未知为θ，故似然函数定义为:
两边取对数，得到对数似然，公式为：
最大似然估计法最常用的为对数平均似然，公式为：
因此最大似然估计法就是 最大化似然函数求参数值，即：
由上可知最大似然估计的一般求解过程：
（1） 写出似然函数；
（2） 对似然函数取对数，并整理；
（3） 求导数 ；
（4） 解似然方程
——导致这样的样本结果的概率，是一个带参数的似然函数。
目标就是最大化似然函数，用最优化算法求解 概率最大的参数值。
注意：
- 参数估计不同于估计。
日常所说的估计一般是通过样本分布估计总体的分布，如用样本集的均值作为总体的期望。
- 参数估计也不同于非参数估计
在参数估计中，模型是假设已知的，估计得参数后就可得完整模型；
——对于参数估计，我们希望通过某些方法，通过给定样本集D估计假定模型的参数。极大似然估计就可以帮我们从参数空间中选择参数，使该参数下的模型产生D的概率最大（最似然的）。
- 对于判别模型，就对于y=f(x|θ)，假定f（如假设为线性回归），通过x和y估计θ。
- 对于生成模型，就对于pdata(x;θ)→D，假定p(如假设为正态分布)，通过D估计θ。