异方差性、自相关以及广义最小二乘.docx

异方差性、自相关以及广义最小二乘（GLS、FGLS）蒋岳祥（浙江大学经济学院）一、 古典模型中的b的非线性函数的分布及其检验二、 异方差性和自相关（非球形扰动）1、 问题的提出2、 广义最小二乘（GLS）3、 可行广义最小二乘（FGLS）三、 异方差不含自相关的检验（怀特检验）一、古典模型中的b的非线性函数的分布及其检验b的函数的渐近分布一得尔塔方法斯拉茨基定理 对一个不是〃的函数的连续函数g(&),有如果f(b)是一组关于最小二乘估计量J个连续的线性或非线性的函数并令6 =哗ob'G是JXK矩阵，其中第，行是第/个函数关于b的导数利用(4-21)的斯拉茨基(Slutsky) 定理，plim/(/>) = /(/?)并且piunG = ^^=r,于是f(b)-^N /(/7)，4子)] (0)实际上，渐近协方差矩阵的估计量是Est.AsyVar[f(b) = G[s2 (X X)-1 ]G'如果某个函数是非线性的，则b的无偏的性质不会传给f(b)a不过从(0)中可得f(b)是f( P) 的一致估计量，而且渐近协方差矩阵很容易获得对f(B)的检验也很容易二、异方差性和自相关（非球型扰动）-）问题的提出多元化回归模型扰动项迁背占典假设的更一般的模型是广义回归模型，即假设y = X/? + 饥E[s] = 0,(1)其中。

是一般的正定矩阵，而不是在古典假设的情况下的单位矩阵古典假设条件情况只是 这种模型的一个特例我们将仔细考察的两种情况是异方差性和自相关当扰动项有不同的方差时，它们就是异方差的，异方差性经常产生于横截面数据，其 中因变量的尺度（scales）和模型解释能力在不同的观察值之间倾向于变动我们仍然假设不同观测值之间扰动无关因此是自相关经常出现在时间序列数据中,经济时间序列经常表现出一种“记忆”，因为变化在不同时期之间不是独立的时间序列数据通常是同方差的，因此可能是非对角线上的值依赖于扰动项的模式普通最小二乘法的结果具有球形干扰项E[£] = 0(2)(3)E[S£9] = a2I重申前面的内容，普通最小二乘估计量,b = (XX)-"，= 0 + (XX)-'XM是最佳线性无偏的、一致的和渐近正态分布的（CAN=Consistent and asymptotically noniially distributed）,并且如果干扰项服从正态分布，在所有CAN估计量中它是渐近有效 的现在我们考察哪些特性在（1）模型中仍然成立有限样本特性 对（3）两边取期望，如果E[£|X] = 0,则E[b] = Ex[E[b\X]] = fi <4）如果回归量和扰动项是无关的，则最小二乘法的无偏性不受（2）假设变化的影响。

最小二乘法估计量的样本方差是s（I]=E[d）（D']= E[（XX）TXRX（XX）T]=（xx）-*（bg）x（xx）Ts（xxy1 xnx,xx）T ,、在（3）中，b是£的线性函数因此，如果£服从正态分布，则/?〜N[/?,W（xx）T（xnx）（xx）T]由于最小二乘估计量的方差不再是b“XX）T,任何基于尸（XX）T的推断都可能导 致错误不仅使用的矩阵是错误的，而且F也可能是b?的有偏估计量通常无法知道 b?（XX）T是比b的真正方差大还是小，因此即使有的一个好的估计，Var[b]的传统估 计量也不会有用最小二乘法的渐近特性如果Var[b]收敛于0,则b是一致的使用表现良好的回归量，（XX/〃）T将收敛到一 个常数矩阵（可能是0）,并旦最前面的乘子4/〃将收敛于0但X'QX/n不一定收敛， 如果它收敛，则普通最小二乘是一致的和无偏的因此如果plinK XX / 〃）和plinK XQX /〃）都是有限正定矩阵，则b是B的一致估计量上述结论成立的条件依赖于X和Q另一种分离这两个组成部分的办法是：如果1、X' X最小的特征根当 is时无限制地增加，这意味着plinKXX）T=0：2、。

最大的特征根对于所有〃都是有限的对于异方差模型，方差就是特征根因此, 要求它们是有限的对于有自相关的模型，这要求Q的元素有限并且非对角线元素与对角线 元素相比不是特别大那么，普通最小二乘法在广义回归模型中是一致的说明普通最小二乘法是不一致的模型假定回归模型是)，= 〃 + £，其中£的均值为o,方差为常数并且在不同观测值之间具有相同的相关系数Q°于是p P …pP1 p …pQ =Pp 1 …p_pp p …1矩阵X是一列1u的普通最小二乘估计量是亍代入(5),得Var[y] =——(1 - p + np) (5a)' n这个表达式的极限是Qb，而不是0尽管OLS是无偏的，但它不是一致的对于这个 模型，XGX/〃 = 1+U(〃 —1)不收敛利用(5a), X是一列1,因此XX R是一个标量，满足条件(1);但是，Q的特征根是1 — Q (重数是〃・1)和(1-P + /7/?),不满足条件(2)；这个例子中模型的困难是不同观测值间有太多的相关在时间序列情况下，我们一 般要求观测值之间关于时间的相关系数随它们之间距离增加而减小这里条件没有被满足 关于在简介中曾讨论的自相关扰动项的协方差矩阵上需要附加什么种类的要求，这给出一些 很有意义的信息。

如果(5b)的极限分布是正态的，则OLS估计量渐近地服从正态分布如果〃lim(XX/〃)= Q,那么右边项的极限分布与—=x,e=Q 1 "=£时\ln y/n r(5c)的分布相同，其中x：是X的一行(当然假定极限分布确实存在)现在，问题是中心极限定理是否可以直接应用于V如果扰动项只是异方差的而且仍是无关的，答案通常是肯定的 在这种情况下，很容易看到只要X表现良好，而且Q对角元素是有限的，最小二乘估计量 是渐近正态分布的，方差矩阵由（5）给出对于大多数一般的情况，答案是否定的，因为 （5c）中的和不一定是相互独立或是甚至无关的随机变量的和不过，雨宫（1985,第187页）和安德森（1971）曾指出，自相关扰动项的模型中b的渐近正态性是足够普遍的，以致 于包括了我们在实际中可能遇到的大多数情况我们可以得到结论，除了在特别不利的情况 下，b渐近地服从均值为方差矩阵由（5）给出的正态分布总之，OLS在这个模型中只保留了它的一些可•取性质，它是无偏的、一致的和渐近正态分 布的不过，它不是有效我们需要寻求b的有效估计二）广义最小二乘（GLS）在广义回归模型中，8的有效估计需要关于Q的知识我们只考察Q是己知的、对称 正定矩阵的情况，这种情况偶尔会发生，但在大多数的模型中Q包含必须估计的未知参数。

由于是正定对称矩阵，它可以分解为Q=CaCf （6）其中C的各列是Q的特征向量经过正交化而得到，即CCT,而且Q的特征根被放在对 角矩阵△中令A”？是对角元素为J元的对角矩阵，并令T = Ca1/2,于是Q=TTL另外，令P = C ,因此QT = PP'用P前乘（1）中的模型可得P'y = P'X0 + PW或y* = X*/7 + & （7）£•的方差是E[s^] = P'c2QP =（y-I因此，这个变换后的模型就是一个我们熟悉的古典回归模型由于Q己知，所以，y舟口X*是可观测数据在古典回归模型中，OLS是有效的：因此p=（xx）t x：力=（X ppfxyl x ppy=（X一*广 x是”的有效估计量这是万的广义最小二乘（GLS）估计量按照古典回归模型，我们有 以卜.结论:如果E[&|X」= O, GLS估计量是无偏的这等价于E[Ps\PX] = O,但由于P是已知常数的矩阵，我们回到熟悉的要求E[s\X] = O.我们必须要求回归量与扰动项是无关的如果phinl\ n=0GLS估计量是一致的，其中Q*是有限正定矩阵进行替换可得plimXQ-】X〃)\一】(9)我们需要的是变换后的数据X*=P，X而不是原始数据X的数据。

根据（9）的假设，GLS估计量是渐近正态分布的，均值为”，样本方差为(10)vs・[0] = s(x;x*)t = gxbx)-】通过对（7）中的模型应用高斯一马尔科夫定理可得如下的艾特肯（1935）定理:GLS估计量0是广义回归模型中的最小方差线性无偏估计量0有时被称为艾特肯估计量这是一个一般性结果，当Q=/时高斯一马尔科夫定理是它的一个特例对于假设检验，我们可以把所有结果应用到变换后的模型（7）中为了检验J个线性 约束R8=q,相应的统计量是叫 〃-K]=薄3）'[脱°乂）一成]一即％）其中残差向量是£=），• —xM，2 _ _ （y-X农）0T（y—xR~ n-K~ n-K有约束的GLS残差Ec = y* - X0,基于PC=P-[X^X ]-1 Rf[R（X n-1 X）-1 Rf]~l W - （11）总之，对于古典模型的所有结果，包括通常的推断过程，都适用于（7）中的模型应该注意的是：在广义回归模型中没有R2的准确对等物不同的统计量有不同的意义, 但使用它们时一定要谨慎三）可行的最小二乘估计（FGLS）上一节的结果是基于必须是己知的条件基础上的含有必须估计的未知参数, 则GLS是不可行的。

但在无约束的情况下，b'中有n{n+l）/2个附加参数这对于用〃 个观测值来估计这么多的参数是不现实的只有当模型中需要估计的参数较少时，即模型中 某种结构要简化，才可以找到求解的方法可行的最小二乘估计（FGLS）具有代表性的问题涉及到一小组参数只有一个未知数Q, 其常见的表达形式是1 p p~ p‘ … X?”T P \ P P■…P -pZ pn~- …1其中，也只有一个附加的未知参数一个也只包含一个新参数的异方差模型是接下来，假定0是＜9的一致估计量（如果我们知道如何求得这样的估计量）为了使GLS估 计可行，我们将使用Q =0）替代真正的我们所考虑的问题是利用0（，）是否要求我们改变上节的某些结果如果plimq = 6L利用C似乎渐近等价于利用真正的然而，并非如此令可行广义最小二乘（或FGLS）估计量记为3那么，0渐近等价于0的条件是(18)(19)r x3x r xa-'x p iiin =p iiin n n和1 — 1 iplnn —= plim —X七 y/n y/n如果（7）中变换后的回归量表现度好，则（19）右边服务从极限正态分布这正是我 们求最小二乘估计量的渐近分布时所利用的条件。

因此，当白替时（19）要求同样的条 件成立这些是必须逐个情况进行核实的条件但在大多数情况中，它们的确成立如果我们假设它们成立，基于，的FGLS估计量与GLS估计量具有同样的渐近性质这是一个相当 有用的结果特别地，注意以下结论：1、 一个渐近有效的FLGS估计量不要求我们有的有效估计量，只需要一个一致估计 量2、 除了最简单的情况，FGLS估计量的有限样本性质和精确分布是未知的FGLS估计 量的渐近有效性在小样本的情况下可能不再成立，这是因为由估计的引入的易变性对 于异方差情况的一些分析由泰勒（1977年）给出。