第三章多元线性回归.doc

第三章 多元线性回归简单线性回归模型是用一个解释变量来解释应变量的但在现实经济关系中，人们所要研究的变量往往受到一个以上的变量的影响，或者说可由多个变量来解释例如，个人消费不仅与个人当期收入有关，还可能与财富及预期收入有关；个人收入不仅与受教育年限有关，还与年龄的大小有关；等等所以用多个解释变量来说明应变量会使模型更为有用第一节 多元线性回归模型的基本假设 设Y为应变量，为k个不同用来说明Y的被称为解释变量的变量，其中恒等于1，则称式子(3.1)所表示的模型为多元线性回归模型 (3.1)其中，为随机扰动项；固定参数,,…, 称为(总体)回归系数或偏回归系数若令， ， ， 则(3.1)式可用如下矩阵形式表为 (3.1’)在本章，我们研究满足如下经典假设的多元线性回归模型假设1 随机扰动项的数学期望(均值)为零即 (3.2)假设1意味着 (3.3)称(3.3)式为线性回归模型(3.1’)的总体回归函数总体回归方程假设2 随机扰动项的方差相等，并且跨期扰动项不相关。

即 用I表示单位矩阵，则假设2即为 (3.4)这里的假设2就是第二章的假设2与假设3的综合，即同方差性与序列无关性的综合假设3 随机扰动项和解释变量X不相关，即中不含解释变量X的任何信息用数学式子可表示为 (3.5)在X是非随机变量矩阵的情况下，(3.5) 式是自动成立的，但为了一般起见，即使X为随机变量矩阵，只要(3.5) 式成立，那么对X为非随机变量矩阵情况下的结论，可以直接推广到X为随机变量矩阵的情形假设3是一个非常重要的假设，它说明，随机向量Y中能够用X解释的部分完全从随机扰动项中分离了出来，因而，在随机扰动项中不再包括与解释变量相关的因素了假设4 X是秩为k的矩阵它要求X的各列线性无关，或者说解释变量之间不存在多重共线性所谓多重共线性是指解释变量之间存在完全或近乎完全的线性相关假设5 随机扰动项为服从正态分布的随机向量，即 (3.6)在样本容量足够大时，由数理统计学中的中心极限定理，假设5是近似成立的，此外，如果我们只是为为估计回归系数的值，假设5就是一个不必要的假设。

假设6 解释变量X有足够多的变异第二节 多元线性回归模型的参数估计一 最小二乘估计 设与总体回归模型(3.1)对应的样本回归模型为 (3.7)或用矩阵表示为 (3.7’)其中表示总体回归系数向量的最小二乘估计，表示残差向量其基本意义与第二章相同性样本回归模型(3.7)或(3.7)’中，使残差平方和最小的回归系数的估计称为最小二乘估计(LSE或OLS)即使 (3.8)最小的其中是的转置下面推导最小二乘估计的表达式或计算公式 为求使(3.8)式最小的，可将看成是的函数，则其关于的一阶偏导数必须为零，即据此得到正规方程 (3.9)若是非奇异的(假设6可保证)，则 (3.10)可证上式即为使残差平方和最小的估计量为证是使残差平方和最小的最小值点只需证其二阶偏导数矩阵是正定的即可事实上， (3.11)对任意一非零向量c，令，则除非v的每一元素都为零，否则是正的但若v=0的话，则必是奇异的(因为c是非零向量)，这与的非奇异假定相矛盾，所以一定是正定的。

可将(3.9)式写成 (3.9’)上式在形式上与第二章的(2.15’)是一致的例3.1 表3.1是在表2.2的基础上加上一列广告支出的数据表设苹果销量不仅与的价格(元/千克)有关，而且与相应的广告支出有关用表示价格，表示广告支出(元)，Y表示需求量(千克)，设在任意价格水平上超市有满足任意需求的能力那么，这12天的数据就是需求函数的表现若假设需求量平均来看是价格和广告支出的线性函数试估计该需求函数表3.1销售量(千克)价格(元/千克)广告支出(元/千克)55100.557090.639080.7210070.79070.6310570.7358070.561106.50.71512560.7511560.691305.50.71513050.65解 设需求量关于价格和广告支出的线性回归模型为令恒等于1，则由表3.1中的资料计算得=所以故样本回归模型为 上式初步说明在价格水平不变的条件下广告有较大的边际效应二 最小二乘估计的统计特性1 线性性所谓线性性是指总体回归系数的估计量是应变量的线性函数从最小二乘估计量的表达式知线性性是显然的。

2 无偏性即 (3.12)因即 (3.13)所以，即无偏性成立3 有效性在所有线性无偏估计量中，最小二乘估计量具有最小方差为证明最小二乘估计量的有效性，先求的协方差矩阵 (3.14)再设的另一线性无偏估计量为，其中，A是一个矩阵则由得 (3.15)和 令，则，，代入上式，得在上式中，由于是一个非负定矩阵(的二次型是)，即是一个非负定矩阵，这说明，的主对角线上的表示各回归系数的线性估计量的元素，大于的主对角线上的相应元素可见，在所有线性无偏估计量中，最小二乘估计量具有最小方差 综合以上性质得高斯—马尔可夫定理：对满足经典假设1-4的多元线性回归模型，其回归系数的最小方差线性无偏估计量是最小二乘估计量三 随机扰动项方差的估计 由于回归系数的最小二乘估计的方差与随机扰动项的方差有很大的关系，所以根据样本资料估计随机扰动项的方差也就很有必要了为此，先考虑残差向量 (3.16) 其中称为最小二乘基本等幂矩阵，它是一个矩阵，它具有 对称性()，等幂性()，而且与解释变量不相关()。

这些性质通过简单矩阵运算即可得到再考虑残差平方和的数学期望 tr(A)表示矩阵A的主对角线上的元素的和，称为矩阵的迹，通过验算即知：矩阵的和的迹等于迹的和；矩阵的转置的迹等于原矩阵的迹；矩阵的数乘的迹等于矩阵的迹乘以该数；矩阵的乘积的迹与矩阵的位置无关，即tr(AB)=tr(BA)在这里要注意到：矩阵的迹等于它本身 (3.17)故 (3.18)这说明随机扰动项的方差的一个无偏估计量为 (3.19)四 最大似然估计与Cramer-Rao定理 下面用最大似然法估计模型 (3.1’) 中的参数设随机扰动项为服从正态分布的随机向量，即则，随机向量的密度函数为 (3.20)其对数似然函数为 (3.21) 在给定样本条件下，求参数的估计值，使对数似然函数达到最大设回归系数的最大似然估计为，随机扰动项的方差的最大似然估计为，则 可见回归系数的最大似然估计与最小二乘估计是一样的，而随机扰动项的方差的最小似然估计则有所不同，而且是有偏的。

但当样本容样很大时，最大似然估计与无偏估计基本一致，即是渐进无偏的 为了进一步研究回归系数的统计特性，我们应用第二章第二节的Cramer-Rao定理及其推论：Cramer-Rao定理：设是基于样本的关于参数向量的无偏估计量，则的协方差矩阵与信息矩阵的逆矩阵(简称逆信息矩阵)之差将是一个半正定矩阵 推论：设是参数向量的无偏估计量，而的主对角线上的元素为，则下面求对数似然函数(3.21)信息矩阵故 (3.22)它的逆为： (3.23)由于回归系数的最小二乘估计的协方差矩阵为，它与信息矩阵的逆矩阵在相应位置的主对角线上的元素相同，所以最小二乘估计量不仅是最优线性无偏估计，而且还是最优无偏估计五 估计量的分布特性 显然样本回归系数向量服从数学期望为向量，协方差矩阵为的多元正态分布即 (3.24) 而服从自由度为的分布，而且与相互独立这个结论正是曾在第二章第三节所给出的定理，当时并没有给出证明，现在证明之 首先证明服从自由度为的分布，即证明 (3.25) 由于对称等幂矩阵的秩等于它的迹 参见[美]威谦H.格林著，王明舰等译《经济计量分析》第32-44页，中国社会科学出版社，1998年3月。

而最小二乘等幂矩阵M是对称的等幂矩阵，根据(3.17)式便知最小二乘等幂矩阵的迹为，所以它的秩为 又由于对称的等幂矩阵的特征根不是1就是0，故存在正交矩阵C，使得 同上其中是一个主对角线上前个数为1，其它位置上的元素都为0的对角矩阵 将代入中，得 (3.26) 令，则 (3.27)其中是将作正交变换后的结果 根据，，以及得也服从数学期望为零，协方差矩阵为的正态分布，从而其分量服从数学期望为零，方差为的正态分布，而且由于不同分量的协方差为零，所以不同分量是相互独立的故为个相互独立的标准正态分布的平方和，根据分布的定义，服从自由度为的分布其次，关于与相互独立的问题，可由下式验证 (3.27)可见，残差与回归系数的最小二乘估计是相互独立的，从而作为残差的函数的与回归系数的最小二乘估计也是相互独立的 上述结论为多元回归系数的置信区间与显著性检验的研究打下了理论基础第三节 多元回归模型的统计检验 多元回归模型的统计检验是要对已得模型是否可用于经济分析、政策评价、结构分析、预测等问题在统计性质方面作出分析与评价，以决定已得模型的应用价值。

就其内容来看，它包括总体参数的置信区间的探求，显著性检验和一般线性假设检验，拟合优度与方差分析，相关分析等一 置信区间1 总体回归系数的置信区间 对于多元线性回归模型，设其中为矩阵中第i行，第j列的元素由于，所以回归系数的最小二乘估计的方差为 (3.28) 因此随机变量的标准化随机变量服从标准正态分布同简单线性回归分析一样，我们引入样本回归系数的标准误则因为随机变量的分子服从标准正态分布，分母为一个自由度为的分布除以其自由度后的算术平方根根据t分布的定义，服从自由度为的t分布故，的置信度为的置信区间为 (3。