最大似然估计
最大似然估计是机器学习领域最为常见的用来构建目标函数的方法,它的核心思想是根据观测到的结果来预测其中的未知参数。
观测到的是 样本数据。需要估计的是 能够产生这些样本的 模型的参数。
待估计的参数
—> (产生) 观测到的样本。
待估计的参数
<—(估计) 观测到的样本。
假设未知参数为 ,已知的样本为D,最大似然估计通过最大化 P(D| ) 来求解位置参数 .
投掷硬币的例子
假设有一枚硬币,它是不均匀的,扔硬币出现证明的概率是和出现反面的概率是不一样的。假设我们设定出现正面的概率是 ,我们用H 来指正面(head), 用T 来标记反面(tail),假设扔了6次,结果分别为 D= {H,T,T,H,H,H}, 求 ?
通过扔硬币的结果D 来预测 就是我们要解决的问题。这就是最大似然概率。
解答: 6次扔硬币中出现了4次正面,2次反面。 所以一目了然
= 4/6 = 2/3. (其实这个就是用的最大似然估计)
我们看最大似然估计的方法来求解:
第一步: 构造P(D|
) = P({H,T,T,H,H,H,H}|
) = (时间独立性) P(H|
)^4 * P(T|
)^2 =
^4 * (1-
)^2 <— f(
)
第二步:求解f(
)的最大值。
f(
) =
^4 * (1-
)^2
f’(
) = 4
^3 * (1-
)^2 - 2(1-
) *
^4
设f’(
) = 0 ,
= 2/3