1.3.3 维纳滤波

极大似然估计从概率论的角度解决参数估计问题。在现实生活中，有很多现象要用随机过程解释，对随机过程的估计在此之前仍然处于空白。对于随机过程的估计，到20世纪30年代才积极发展起来。1940年，控制论的创始人之一——美国学者诺伯特·维纳（Norbert Wiener，1894—1964年）根据火力控制的需要，提出一种在频域中设计统计最优滤波器的方法，被称为Wiener滤波。Wiener是20世纪早期著名的天才，从小由父亲教育，9岁便直接进入中学，11岁中学毕业，然后用3年时间在塔夫茨大学获得数学本科学位，14岁进入哈佛大学，18岁时获得数学哲学博士学位，1919年以后一直是麻省理工的教师。

在众多科学出版物里都能找到Wiener的身影，他在控制论方面的贡献是闻名遐迩的。他的一些重要的数学成就有广义谐波分析、广义傅里叶变换，证明了白噪声经过变换后依然是白噪声。在第二次世界大战的前几年，Wiener 参加了一个军方项目，需要用雷达信息设计一个自动控制器来引导防空火力。因为飞机的速度与子弹的速度相比是不能忽略的，因此要求这个系统“射向未来”。也就是说，控制器必须能够利用有噪声的雷达跟踪数据，并对其目标的未来航线进行预测。

Wiener在推导最优估计器时，利用在函数空间上的概率测度来表示不确定的动态行为。他根据信号和噪声的自相关函数，推导出最小均方预测误差解。这个形式是一个积分算子，如果对自相关函数或者等效傅里叶变换的规律性施加某些约束，则可以用模拟电路来合成它。他的方法利用功率谱密度代表随机现象的概率特性。同一时期，苏联杰出数学家——安德列·柯尔莫哥洛夫（Andrey Nikolaevich Kolmogorov，1903—1987年）提出并初次解决广义离散平稳随机序列的预测和外推问题。此时，Wiener正好完成了对连续时间预测器的推导工作。

Wiener的这个研究成果，直到20世纪40年代晚期，才在一个题目为“平稳时间序列的外插、内插和平滑”的研究报告中被解密。这个题目后来被缩写为“时间序列”。该报告在当时引起不少关注，其中的很多数学细节，虽然本科生难以消化，但是却吸引了专注于电子工程科学的一代研究生们。