多元线性回归模型及各种检验方法.doc

1对多元线性回归模型的各种检验方法对于形如（1）uXXY k 210的回归模型，我们可能需要对其实施如下的检验中的一种或几种检验：一、 对单个总体参数的假设检验：t 检验在这种检验中，我们需要对模型中的某个（总体）参数是否满足虚拟假设 ： ，做出具有统计意0Hjja义（即带有一定的置信度）的检验，其中 为某个给ja定的已知数特别是，当 =0 时，称为参数的（狭义ja意义上的）显著性检验如果拒绝 ，说明解释变量0H对被解释变量 具有显著的线性影响，估计值 才jXY jˆ敢使用；反之，说明解释变量 对被解释变量 不具jXY有显著的线性影响，估计值 对我们就没有意义具jˆ体检验方法如下：（1） 给定虚拟假设 ： ；0Hjja2（2） 计算统计量 的数值；)ˆ()ˆ(ˆ jjjjjj SeaSeEt  11ˆ)ˆ(  jjjjj CCSe TX)(， 其 中（3） 在给定的显著水平 下（ 不能大于 即.010%，也即我们不能在置信度小于 90%以下的前提下做结论） ，查出双尾 t（ ）分布的临界值 ；1kn 2/t（4） 如果出现 的情况，检验结论为拒绝2/tt；反之，无法拒绝 。

0H0H检验方法的关键是统计量 必须服从已t )ˆ(jjjSet知的 分布函数什么情况或条件下才会这样呢？这需t要我们建立的模型满足如下的条件（或假定）：（1） 随机抽样性我们有一个含 次观测的随机n样 这保证了误  iYXXiikii ,,21:,,,,21  差 u3自身的随机性，即无自相关性，0)()(( jjii uEuECov（2） 条件期望值为 0给定解释变量的任何值，误差的期望值为零即有 u 0),,,(21 kXXuE这也保证了误差 独立于解释变量 ，即XX,,,21模型中的解释变量是外生性的，也使得 0)(uE(3） 不存在完全共线性在样本因而在总体中，没有一个解释变量是常数，解释变量之间也不存在严格的线性关系4） 同方差性常 数221),,( kXXuVar（5） 正态性误差 满足 ),0(~2Normalu在以上 5 个前提下，才可以推导出：1~)ˆ(/)ˆ(),0()ˆ(/)ˆ( )]ˆ(,[~ˆ  knjjj jjj jjj tSeNdVarN4由此可见， 检验方法所要求的条件是极为苛刻的t二、 对参数的一个线性组合的假设的检验需要检验的虚拟假设为 ： 。

比如 无0H21jj21法直接检验设立新参数 211原虚拟假设等价于 ： 将 代入原模型0H01后得出新模型：（2）uXXXY kk  )(21210在模型（2）中再利用 检验方法检验虚拟假设 ：t 0H01我们甚至还可以检验这样一个更一般的假设 CH kk 100:λβt 统计量为)1(~ˆ2  kntSet TλX)λ(β1T三、 对参数多个线性约束的假设检验：F 检验5需要检验的虚拟假设为 ：0H0,,,021  kqkqk  该假设对模型（1）施加了 个排除性约束模型（1）在该约束下转变为如下的新模型：uXXXY qkqk 210（3）模型（1）称为不受约束（ur）的模型，而模型（3）称为受约束（r）的模型模型（3）也称为模型（1）的嵌套模型，或子模型分别用 OLS 方法估计模型（1）和（2）后，可以计算出如下的统计量：  )1/(/ knRS qRSFur urr关键在于，不需要满足 t 检验所需要的假定（3） ，统计量 F 就满足： 利用已知的 F 分布函数，1,~knqF我们就可以拒绝或接受虚拟假设 ：0H了。

所以，一般来讲，F 检验比 t 检0,,021  kqkqk 验更先使用，用的更普遍，可信度更高利用关系式6， ，F 统计量还可以写成：)1(2rr RTSR )1(2ururRTS)1/()1( /22knRqFurrr四、 对回归模型整体显著性的检验：F 检验需要检验的虚拟假设为 ： 相0H0,,021 k当于前一个检验问题的特例， 嵌套模型变为 kq ， ， F 统计量变uY002rRTSRr22Rur为：)1/(/)1/()1(/22knRSEknRF五、 检验一般的线性约束需要检验的虚拟假设比如为 ：0H受约束模型变为：0,,12k7uXY10再变形为： F 统计量只可用：uX01 )1/(/knRSqRSFur urr其中， 211211 )()()()(1 XYXYXYTSR iiiiXYr六、 检验两个数据集的回归参数是否相等：皱（至庄）检验虚拟假定是总体回归系数的真值相等步骤如下：（1） 基于两组样本数据，进行相同设定的回归，将二者的 RSS 分别记为 和 。

1RS2RS（2） 将两组样本数据合并，基于合并的样本数据，进行相同设定的回归，将回归的 RSS 记为 TRS（3） 计算下面的 F 统计量：8)2/()()1/()( 2121 21   knRSRSRSFT（4） 如果 ，拒绝原假定 F七、 非正态假定下多个线性约束的大样本假设检验：LM（拉格郎日乘数）检验F 检验方法需要模型（1）中的 满足正态性假定u在不满足正态性假定时，在大样本条件下，可以使用LM 统计量虚拟假设依然是 ：0HLM 统计量仅要求对受约束模型0,,021  kqkqk 的估计具体步骤如下：（ⅰ）将 对施加限制后的解释变量进行回归，Y并保留残差 即我们要进行了如下的回归估计u~uXXXY qkqk~~~210  （ⅱ）将 对所有解释变量进行辅助回归，即进行u~如下回归估计9 ˆˆˆˆˆ~ 210  kkXXXu 并得到 R-平方，记为 2uR（ⅲ）计算统计量 2unRLM（ⅳ）将 与 分布中适当的临界值 比较如LM2q c果 ，就拒绝虚拟假设 ；否则，就不能拒绝虚拟cLM 0H假设 。

0H八、 对模型函数形式误设问题的一般检验：RESET如果一个多元回归模型没有正确地解释被解释变量与所观察到的解释变量之间的关系，那它就存在函数形式误设的问题误设可以表现为两种形式：模型中遗漏了对被解释变量有系统性影响的解释变量；错误地设定了一个模型的函数形式在侦察一般的函数形式误设方面，拉姆齐（Ramsey，1969）的回归设定误差检验（regression specilfication error test , RESET）是一种常用的方法RESET 背后的思想相当简单如果原模型（1）满足经典假定（3） ，那么在模型10（1）中添加解释变量的非线性关系应该是不显著的尽管这样做通常能侦察出函数形式误设，但如果原模型中有许多解释变量，它又有使用掉大量自由度的缺陷另外，非线性关系的形式也是多种多样的RESET则是在模型（1）中添加模型（1）的 OLS 拟合值的多项式，以侦察函数形式误设的一般形式为了实施 RESET，我们必须决定在一个扩大的回归模型中包括多少个拟合值的函数虽然对这个问题没有正确的答案，但在大多数应用研究中，都表明平方项和三次项很有用令 表示从模型（1）所得到的 OLSYˆ估计值。

考虑扩大的模型（4） 321210 ˆYXXYk这个模型看起来有些奇怪，因为原估计的拟合值的函数现在却出作为解释变量出现实际上，我们对模型（4）的参数估计并不感兴趣，我们只是利用这个模型来检验模型（1）是否遗漏掉了重要的非线性关系记住， 和 都只是 的非线性函数2ˆY3jX对模型（4） ，我们检验虚拟假设 这时，0,:210H11模型（4）是无约束模型，模型（1）是受约束模型计算 F 统计量需要查 分布表拒绝 ，模型3,2knF0H（1）存在误设，否则，不存在误设九、利用非嵌套模型检验函数形式误设寻求对函数形式误设的其他类型（比如，试图决定某一解释变量究竟应以水平值形式还是对数形式出现）作出检验，需要离开经典假设检验的辖域有可能要相对模型  )log()log()log( 22110 kkXXXY （5）检验模型（1） ，或者把两个模型反过来然而，它们是非嵌套的，所以我们不能仅使用标准的 F 检验有两种不同的方法一种方法由 Mizon and Richard (1986)提出，构造一个综合模型，将每个模型作为一个特殊情形而包含其中，然后检验导致每个模型的约束。

对于模型（1）和模型（5）而言，综合模型就是12（6）kXY10 )log()log(1kkk X可以先检验 ，作为对模型（1）的检验也0,0:10kkH可以通过对检验 ，作为对模型（5）的检验10k另一种方法由 Davison and MacKinnon (1981)提出认为，如果模型（1）是正确的，那么从模型（5）得到的拟合值在模型（1）中应该是不显著的因此，为了检验模型（1）的正确性，首先用 OLS 估计模型（5）以得到拟合值，并记为 在新模型Yˆ（7）XXYk1210中计算 的 t 统计量，利用 t 检验拒绝或接受假定 Yˆ 0:1H显著的 t 统计量就是拒绝模型（1）的证据类似的，为了检验模型（5）的正确性，首先用 OLS 估计模型（1）以得到拟合值，并记为 在新模型Yˆ（8）  XXY kkˆ)log()log()log( 1210 中计算 的 t 统计量，利用 t 检验拒绝或接受假定 ˆ 0:1H以上两种检验方法可以用于检验任意两个具有相同的13被解释变量的非嵌套模型非嵌套检验存在一些问题。

首先，不一定会出现一个明显好的模型两个模型可能都被拒绝，也可能没有一个被拒绝在后一种情形中，我们可以使用调整的R-平方进行选择如果两个模型都被拒绝，则有更多的工作要做不过，重要的是知道使用这种或那种函数形式的后果，如果关键性解释变量对被解释变量的影响没有多大差异，那么使用那个模型实际上并不要紧第二个问题是，比如说使用 Davison and MacKinnon 检验拒绝了模型（5） ，这并不意味着模型（1）就是正确的模型模型（5）可能会因为多种误设的函数形式而被拒绝一个更为可能的问题是，在解释变量不同的模型之间进行比较时，如何实施非嵌套检验一个典型的情况是，一个解释变量是 ，一个解释变量是 使用调整Y )log(Y的 R-平方进行比较，需要小心从事。