十分钟学习极大似然估计[轉載]

前言

参数估计是机器学习里面的一个重要主题,而极大似然估计是最传统、使用最广泛的估计方法之一。

本文主要介绍了极大似然估计,简单说明了其和矩估计、贝叶斯估计的异同,其他估计(如MAP)并不涉及。

为什么要用极大似然估计

对于一系列观察数据,我们常常可以找到一个具体分布来描述,但不清楚分布的参数。这时候我们就需要用极大似然估计来求解这个分布的参数。换句话说,极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。

极大似然估计概述

下面结合一个例子介绍极大似然估计法的思想和方法:

设一个袋子中有黑、白两种球,摸到白球的概率为p,现在要估计p的值。
我们令总体X为
X={0,从袋中取得一白球,1,从袋中取得一黑球.
则X服从01分布B(1,p)。

我们先进行有放回地摸球10次,其结果可用随机变量xi表示,则x1,x2,⋯,x10是来自总体X的一个样本。其值=(1,0,1,0,0,0,1,0,0,0),则似然函数为L(p)=p3(1−p)7。

极大似然估计其实是理想地认为,对于极少的样本观测,我们观测到的样本很可能就是发生概率最大的。

似然函数L(p)是每个样本出现概率的乘积=∏Ni=1P(xi),因为显然样本是独立同分布的。
根据极大似然估计的思想,我们需要让L(p)最大,把这时对应的p^作为我们的估计值。

求解L(p)的最大值点p^,可由一阶导数dL(p)dp=0确定。更一般的,我们通常可以假设白球出现次数为k,可以解得p^=kN
这里带入k=3得p^=0.3,所以我们把0.3作为摸到白球的概率。

值得注意的是,根据似然函数来求解参数的过程,与样本数量是无关的。我们可以使用变量xi来描述样本观测值,并将模型参数θ用来xi表示。当样本较少时,极大似然估计偏差较大。但随着样本的增多(样本逐渐靠近总体分布),偏差慢慢减少为0。这意味着,极大似然估计是非常普适的。

实际上,即使直观上“极大似然估计”似乎是非常自然的想法,但它能在统计学中拥有堪比牛顿力学在物理学中的地位,是因为这种朴素的想法背后蕴含了估计量的泛函不变性、相合性、渐近有效性和渐进正态等诸多逆天的性质。

Note:极大似然估计暗合了切比雪夫大数定律。比如在这个例子中,如果放回次数变得极大,那么根据大数定律也有p^=kN 。所以在用“局部估计整体”时,可以说使用了极大似然估计法,也可以说根据大数定律。

极大似然估计的具体步骤

我们需要做四步:表示似然函数、假设样本观测值、求解方程和代入数据。

似然函数

对于离散型和连续型随机变量,极大似然估计值θ^都满足:
L(θ^)=maxL(θ)
只不过似然函数L(θ)的表示方式略有不同:
离散型随机变量的似然函数是L(θ)=∏Ni=1P(xi),而连续型是L(θ)=∏Ni=1f(xi)。

样本假设

假设样本观测值为xi

求解方程

由定义可知,估计值可由一阶导数dL(p)dp=0解得。但由于lnL和L在同一位置取得最大值,所以极大似然估计值也可以由对数似然方程d(lnL(p))dp=0解得。

深入的数理统计理论可以证明:当总体分布服从单峰分布时,如果上两式有解,则其解就是θ的极大似然估计值。
Note:当方程无解时,应从定义出发,考虑L(θ)的单调性,找到maxL(θ)对应的估计值。

带入数据

将xi用真实数据替换

多参数极大似然估计

方程的解是其对应的极大似然估计值。

总结

最大似然估计的特点

  1. 比其他估计方法更加简单
  2. 收敛性:无偏或者渐近无偏
  3. 如果假设的类条件概率模型正确,则通常能获得较好的结果。但如果假设模型出现偏差,将导致非常差的估计结果。

常用分布的估计值

任意概率分布:p^=kN
正态分布:μ^=x¯¯¯=1n∑ni=1xi,σ2^=1n∑Ni=1(xi–x¯¯¯)2
泊松分布:λ^=x¯¯¯=1n∑ni=1xi
均匀分布:a^=minxi,b^=maxxi

最大似然估计和矩估计

对于正态分布和泊松分布,两种估计都是一致的(均匀分布不一致)。矩估计的优点是简单,只需知道总体的矩,总体的分布形式不必知道。而最大似然估计则必须知道总体分布形式,并且在一般情况下,似然方程组的求解较复杂,往往需要在计算机上通过迭代运算才能计算出其近似解。

最大似然估计和贝叶斯估计

最大似然估计是传统频率派估计参数的方法,而贝叶斯估计是贝叶斯统计派估计参数的方法。前者认为θ是一个固定的值,而后者认为θ是一个满足某个分布的随机变量。后者的泛化能力更好,但计算更复杂。

参考文献

I. 《概率论与数理统计(第二版)》 陈鸿建著
II. 如何通俗地理解概率论中的「极大似然估计法」?
III. 极大似然估计详解
IV. 最大似然估计法
V. 极大似然估计与贝叶斯估计

原文出處:十分钟学习极大似然估计

轉載請遵循[CC BY 3.0 CN(by-nc-sa)]:NANQ重構 » 十分钟学习极大似然估计[轉載]

赞 (1) 打賞

1
留下評論

100
1 評論數量
0 評論回覆
0 關注
 
回覆最多
最熱話題
1 評論作者
NANQ重構 最近評論作者
  訂閱  
通知

覺得文章有用就打賞一下作者

支付宝扫一扫打赏

微信扫一扫打赏