最大似然估计与最大后验估计

Posted by RAIS on 2020-04-04
  • 本文首发自公众号:RAIS

前言

本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。

MLE VS MAP

最大似然函数(MLE)和最大后验概率估计(MAP)是两种完全不同的估计方法,最大似然函数属于频率派统计(认为存在唯一真值 θ),最大后验估计属于贝叶斯统计(认为 θ 是一个随机变量,符合一定的概率分布),这是两种认识方法的差异。模型不变,概率是参数推数据,统计是数据推参数。

最大似然估计

似然函数是一种关于模型中参数的函数,是根据模型的观测值,估计模型中参数的值。给定输出 x ,关于 θ 的似然函数 L(θ|x) 数值上等于给定参数 θ 后变量 X 的概率。其数学定义为:

$$
L(θ|x)=f_θ(x)=P_θ(X=x)
$$

最大似然估计是其中的一种好的估计,在样本趋近于无穷时,最大似然是收敛率最好的渐进估计,且由于它的一致性和统计效率,在机器学习中也是首选的估计方法。在独立同分布情况下:

$$
\hatθ_{MLE}=argmaxP(X;θ)=argmaxP(x_1;θ)P(x_2;θ)…P(x_n;θ)
=argmax\log\prod_{i=1}^nP(x_i;θ)\\=argmax\sum_{i=1}^n\log P(x_i;θ)
=argmin-\sum_{i=1}^n\log P(x_i;θ)//负对数似然
$$

由于对数函数单调增,因此想要求 L 的最大值,可以求其对数作为求其最大值的函数,这样求出的结果是相同的。深度学习所做分类任务中用到的交叉熵本质是求最大似然函数。

条件最大似然估计

$$
\hatθ_{MLE}=argmaxP(Y|X;θ)=argmax\sum_{i=1}^{m}\log{P(y^{(i)}|x^{(i)}|θ)}
$$

最大后验估计

贝叶斯公式:

$$
P(θ|x)=\frac{P(x|θ)P(θ)}{P(x)}
$$

其中 P(x|θ) 是似然函数,P(θ) 是先验概率。

则最大后验估计的数学定义为:

$$
\hat \theta_{MAP}(x)=\arg \max_\theta f(\theta|x)=\arg \max_\theta \frac{f(x|\theta)g(\theta)}{\int_\vartheta f(x|\vartheta)g(\vartheta)d\vartheta}=\arg\max_\theta f(x|\theta)g(\theta)
$$

theta 为需要估计的参数,f 为概率,g 为先验估计,最大化后验估计通过 f·g 求得。当先验分布为常数时,最大后验估计与最大似然估计重合。

总结

最大似然估计与最大后验估计对比分析。