2.3 估计算法的解析形式

第2.2节中给出了几种常用的估计方法，在实际中，这些估计方法可以用于理论分析；但是如果需要在实际中应用这些估计方法，则需要具体的计算公式；因此本节考虑一些特殊情况（特殊概率分布或者特殊的结构形式），在这些特殊情况下，能够得到估计算法的解析形式，可应用在具体实际中。

2.3.1 线性估计算法

线性估计限定待估参数的估计值为观测量的线性函数，即

在线性估计里有一种特殊的估计为线性最小均方误差（Linear MMSE，LMMSE）估计，该估计为x的无偏估计，并使MSE指标最小，也即

且使如下的泛函指标最小

首先由无偏性可以得到

式中，。

因此，式（2-20）可以写作

将式（2-23）代入式（2-21）可以得到

利用附录C.1中的y T x=Tr [xy T]可以将式（2-24）写作

其中

利用最优必要条件可得

在求解式（2-27）的步骤中，利用了附录C.4中的

将式（2-27）代入式（2-23）可以得到

记，则有

注：

（1）LMMSE估计又叫作最优线性无偏估计（Best Linear Unbiased Estimation，BLUE）和线性最小方差估计。

（2）LMMSE估计的优势在于形式简单，仅和概率密度函数的一阶和二阶矩有关，且易于实施。

2.3.2 联合高斯分布的MMSE估计算法

如果待估参数x和观测量z为联合高斯分布（定义参见附录D5.2），则x的MMSE估计由下式给出

式中，

相应的，MMSE估计的条件协方差矩阵为

注：

虽然式（2-29）和式（2-32）的形式一样，但是和P xx|z有着不同的含义。为MSE矩阵，P xx|z为条件协方差矩阵。

2.3.3 线性观测对应的估计算法

本节考虑线性测量方程情形下的估计方法。观测量z和待估状态x由如下的线性测量方程给出

式中，H为测量矩阵，ν为测量噪声。

1.LMMSE估计

对于线性测量方程，若测量噪声满足

则式（2-28）的线性最小均方误差估计和式（2-29）的方差可以写作

证明：首先由式（2-33）和式（2-34）可得

将式（2-36）代入式（2-28）可以得到

在式（2-37）的推导过程中，利用了附录C.7中的

和

将式（2-37）代入式（2-29）可得式（2-35）的第二式，从而得证。

注：式（2-35）有着几种不同的计算形式，如表2-1所示。

定理2.3对于式（2-33）给定的线性测量方程，如果测量噪声满足

且没有x — 的先验知识，则关于x的线性无偏最小均方误差估计由下式给出

证明：对于线性估计，则有

式中，M和n分别为待确定常矩阵（向量）。

将式（2-42）代入式（2-33）可以得到

由无偏性可以得到

由x — 的任意性，可以得到

从而式（2-42）可以写作

且M满足

因此线性无偏最小均方误差估计对应的M满足式（2-47），且使式（2-21）最小。因此其泛函指标为

式中，Tr为矩阵的迹算子，Λ为拉格朗日乘子矩阵。

利用最优必要条件和附录C.4中的矩阵微积分可以得到

式中，▽为梯度算子，见附录C.4。从而可以求得

将式（2-50）代入式（2-49）的第二式可以得到ΛT=（HTR-1H）-1。再代入式（2-50）可以得到

将式（2-51）代入式（2-46）即可得到

而

从而得证。

注：直观上看，如果没有的先验知识，则，此时式（2-35）可以化简成式（2-41）得到定理2.3。

2．加权最小二乘估计

对于式（2-33）给出的线性测量方程，式（2-18）中的WLS估计可以写作

利用最优必要条件可以得到

注：

（1）当E{ν}=0时，为无偏估计，也即。

（2）记，如果E{ν}=0，E{ννT}=R，则

且当W=R-1时，有

为最小值。