1.3.2 极大似然估计

最小二乘法由于没有考虑被估计参数和观测数据的统计特性，因此不是最优估计。由于最小二乘法在计算上比较简单，因此是一种应用最广泛的估计方法。1912年，英国统计与遗传学家罗纳德·费希尔（Ronald Fisher，1890—1962年）提出了极大似然估计方法，从概率密度出发来考虑估计问题，对估计理论做出了重大贡献。该方法也由 Fisher 第一次正式命名为 Maxmum Likelihood Estimation。1950年，J.Wiley&Sons再次提到这个思想，并首次探讨了极大似然估计的一些性质，如一致性、不变性等，使得极大似然估计方法能更好地估计参数。

为了说明极大似然估计的基本原理，我们不用复杂的公式表示，而采用图1.2为大家介绍。在两个外形完全相同的箱子中，A箱子中有99个黑球和1个白球，B箱子中有99个白球和1个黑球。在一次实验中中取出1个球，结果取出的是黑球。那么问黑球从哪个箱子中取出？人们的第一印象就是此黑球来自A箱子的可能性非常大，这个推断符合人们的经验事实。这种最大可能的推断，被称为“最大似然原理”。

图1.2 极大似然估计图例

极大似然估计的目的就是，利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观测数据来评估模型参数的方法，即“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，便是极大似然估计的核心。最大似然估计也是机器学习中一个非常重要的、必须掌握的知识点。

在利用极大似然估计解决实际问题时，我们能获得的数据可能只是有限数目的样本数据，而先验概率和类条件概率（各类的总体分布）都是未知的。极大似然估计方法目前仍然在各领域被广泛应用，如气象预报、质量检测、可靠性分析、遗传工程、机器制造、国防、化工、冶金、医药卫生和环境等领域。