第5章 多元回归分析：OLS的渐近性
5.1 复习笔记
一、一致性
1．定理5.1：OLS的一致性
在假定MLR.1～MLR.4下，对所有的j＝0，1，2，…，k，OLS估计量
都是
的一致估计。
（1）证明过程
写下
的公式，然后将
代入其中便得到：
在分子和分母中应用大数定律，则分别依概率收敛于总体值Cov（x1，u）和Var（x1）。给定
，因为Cov（x1，u）＝0，可以使用概率极限的性质得到：
（2）假定MLR.4＇（零均值和零相关）
对所有的j＝1，2，…，k，都有E（u）＝0和Cov（x1，u）＝0。
假定MLR.4＇与假定MLR.4的比较：
①MLR.4要求解释变量的任何函数都与u无关，而MLR.4＇只要求每个xj都与u无关（且
在总体中的均值为0）。
②零条件均值假定意味着已经正确地设定了总体回归函数（PRF），在MLR.4假定下，有
则可以得到解释变量对y的平均值或期望值的偏效应；而在假定MLR.4＇下，
就不一定代表了总体回归函数，也就面临着xj的某些非线性函数与误差项相关的可能性。
2．推导OLS的不一致性
误差项和x1，x2，…，xk中的任何一个相关，通常会导致所有的OLS估计量都失去其一致性。即如果误差与任何一个自变量相关，那么OLS就是有偏而又不一致的估计，随着样本容量的增加，偏误将继续存在。
的不一致性为：
因为Var（x1）＞0，所以，若x1和u正相关，则的不一致性就为正，而若x1和u负相关，则的不一致性就为负。如果x1和u之间的协方差相对于x1的方差很小，那么这种不一致性就可以被忽略，但由于u是观测不到的，所以不能估计出这个协方差有多大。
二、渐近正态和大样本推断
1．定理5.2：OLS的渐近正态性
在高斯—马尔可夫假定MLR.1～MLR.5下：
（1）
是
的渐近方差；斜率系数
其中
是Xj对其余自变量进行回归所得到的残差。为渐近正态分布的。
（2）
是
的一个一致估计量。
（3）对每个j，都有：
其中，
就是通常的OLS标准误。
定理5.2的重要之处在于，它去掉了正态性假定MLR.6。对误差分布唯一的限制是，它具有有限方差。还对u假定了零条件均值（MLR.4）和同方差性（MLR.5）。
注意在式中出现的是标准正态分布方式而不是tn－k－1分布。这是因为这个分布只是一个近似。实际上，由于随着自由度的变大，tn－k－1趋近于标准正态分布，所以如下写法也是合理的：
2．其他大样本检验：拉格朗日乘数统计量
（1）包含k个自变量的多元回归模型
检验这些变量中最后q个变量是否都具有零总体参数。
虚拟假设：
，它对模型施加了q个排除性约束。
对立假设：这些参数中至少有一个异于零。
LM统计量仅要求估计约束模型。于是，假定进行了如下回归
式中“～”表示估计值都来自约束模型。
表示约束模型的残差。如果被排除变量xk－q＋1到xk在总体中的系数都为零，那么应该与样本中这些变量中的每一个都不相关，至少近似无关。于是，可以将受约束模型的残差对在H0条件下被排除的变量进行一个回归。但是为了能得到一个能使用的检验统计量，必须在回归中包含所有自变量，这就是构造的辅助回归。
用对x1，x2，…，xk的进行回归，但回归系数没有直接意义。利用辅助回归的目的是为了得到判别系数R2，再用样本容量乘以辅助回归式的R2得到LM统计量，LM统计量渐近服从一个自由度为q的
分布。LM统计量有时也被称为n—R2统计量。
（2）拉格朗日乘数检验步骤
①将y对施加限制后的自变量集进行回归，并保留残差；
②将上一步中所得到的残差对所有自变量进行回归，并得到R2，记为
；
③计算
；
④将LM与
分布中适当的临界值c相比较，如果LM＞c，就拒绝虚拟假设。
（3）与F统计量比较
与F统计量不同，无约束模型中的自由度在进行LM检验时没有什么作用。所有起作用的因素只是被检验约束的个数（q）、辅助回归R2的大小（
）和样本容量（n）。无约束模型中的df不起什么作用，这是因为LM统计量的渐近性质。但必须确定将
乘以样本容量以得到LM，如果n很大，看上去较低的值仍可能导致联合显著性。
三、OLS的渐近有效性
1．简单回归模型
令g（x）为x的任意一个函数,那么u就与g（x）无关。对所有的观测
，令zi＝g（xi）。假定g（x）和x相关，那么估计量
就是对
的一致估计。
证明：将
代入，并把
写成
在分子和分母中应用大数定律，分子和分母分别收敛于Cov（z，u）和Cov（z，x），由于在假定MLR.4下Cov（z，u）＝0，所以有：
2．含有k个回归元的情形
将OLS的一阶条件推广，可以得到一类一致估计量：
其中，gj（xi）表示第i次观测的所有自变量的任意函数。当g0（xi）＝1且对j＝1，2，…，k，
时，得到OLS估计量。由于可以使用xij的任意函数，所以估计量具有无限多的种类。
3．定理5.3：OLS的渐近有效性
在高斯—马尔可夫假定下，令
表示从求解形如上式的方程所得到的估计量，而表示OLS估计量。那么，对j＝0，1，2，…，k，OLS估计量具有最小的渐近方差：
