1.3.1 最小二乘法

第一个真正意义上从噪声数据中构造出最优估计的方法是最小二乘法。该方法是由德国著名数学家、物理学家、天文学家、大地测量学家——约翰·卡尔·弗里德里希·高斯（Johann Carl Friedrich Gauss，1777—1855年）于1795年在《天体运动理论》一书中提出的。虽然自伽利略（Galileo，1564—1642年）时代开始，人们已经认识到测量误差是不可避免的，但最小二乘法是处理测量误差的第一个正规方法。虽然最小二乘法更广泛的用途是线性估计，但却是高斯首先将其用于解决数学天文学中的非线性估计问题。下面一起回顾一下高斯提出最小二乘法的过程。

1772年，德国一名中学教师Johann Daniel Titius发现了0，3，6，12，24，48，96，192，…这样一组数列，将每个数字加上4再除以10后，就可以得到以天文单位表示的各个行星与太阳的平均距离。根据Titius的推理：

（1）水星到太阳的距离为（0+4）÷10=0.4；

（2）金星到太阳的距离为（3+4）÷10=0.7；

（3）地球到太阳的距离为（6+4）÷10=1.0；

（4）火星到太阳的距离为（12+4）÷10=1.6；

（5）木星到太阳的距离为（48+4）÷10=5.2；

（6）土星到太阳的距离为（96+4）÷10=10。

这里仅有以250年前人类的科技水平，在太阳系里已经发现的包括地球在内的6颗行星。神奇的是，这组数列竟然与实际基本吻合。这是宇宙的奥妙。但是观测上面这组数列，在24这个数字上应该会有一颗行星存在，暂且称它为行星α，α到太阳的平均距离应该是（24+4）÷10=2.8，由于当时的观测技术条件有限，从来没有人在2.8个天文单位处发现这颗行星。好几年过去了，这颗谜一样的行星一直没有被人搜到。但是在搜寻行星α的过程中，人们发现了另一颗新的行星，它满足（192+4）÷10=19.6的公式。这便是天王星到太阳的距离。

在Johann Daniel Titius提出行星数列推论后的30年里，神秘的行星α一直不曾露面，人们都快忘记它了。奇迹发生在1801年1月1日，意大利亚平宁半岛上有一位天文学家Giuseppe Piazzi，观测到在白羊座（Aries）附近有光度8等的星体在移动。这颗小行星在天空中出现了41天，扫过8°角之后，就在太阳的光芒下消失了踪影。当时天文学家无法确定这颗新星是彗星还是行星，因为当时可用的数据太少了，根本没法确定其轨道。利用有限的数据难以列出可求解的非线性方程，以至于牛顿都声称该问题属于数学天文学领域中最困难的问题。得而复失的行星α的行踪，毫无疑问地引起了当时科学界的广泛关注，也引起了另一位德国青年才俊的注意。这人便是24岁的数学家高斯。

高斯根据 Piazzi 有限的几次观测结果，只用了一个小时便推断出这颗神秘行星的运行轨迹，并预测何时在哪一片天空会出现。在1801年12月31日夜晚，德国观星者奥博斯果然在高斯预言的时间里，用天文望远镜对准天空找到了神秘行星。这便是太阳系中最小，但是在小行星带里最大的矮行星，命名为谷神星。高斯用有限的几次观测数据拟合出谷神星的运行估计计算方法，但直到1809年才发表。在1809年发表的论文中，还描述了1795年他18岁时发现的最小二乘法，并且利用这个方法对谷神星的轨道估计进行了改进。

最小二乘数据拟合如图1.1所示。

图1.1 最小二乘数据拟合

自从最小二乘法被发表以后，它就一直不断地成为人们感兴趣的主题，并且使各个时代的科技人员都受益匪浅。最小二乘法是第一个最优化估计方法，在实验科学和理论科学之间建立了重要的桥梁，即为实验人员提供了估计理论模型未知参数的一种切实可行的方法。