第三章 多元线性回归分析.pdf

第三章多元线性回归分析第三章多元线性回归分析 本章主要内容 第一节多元线性回归模型 第二节参数估计第二节参数估计 第三节回归拟合度评价和决定系数第归拟价决数 第四节统计推断和预测 第五节对回归模型增加或减少解释变量第五节对回归模型增加或减少解释变量 第一节多元线性回归模型 一、模型的建立 二多元线性回归模型的矩阵表示二、多元线性回归模型的矩阵表示 三、模型的基本假定 一、模型的建立  多元线性回归模型就是研究多因素关系，有多个解 释变量的线性回归模型一般形式是：式 011iikkii YXX 2k  其中Y是被解释变量，是个认为对Y有显 著影响的解释变量，是个待 1, , k XX 0k  (2)k 1k  k 著影响的解释变量，是个待 定参数，是计量经济分析首先要估计的对象， 是 随机误差项 0 ,, k  i  (2)k 1k  随机误差项 ikikiii XXXY   22110  式子 也被称为总体回归函数的随机表达形式它 的非随机表达式为: kikiikiiii XXXXXXYE   2211021 ),,|( 的非随机表达式为: 表示：各变量X值固定时Y的平均响应。

j也被称为偏回归系数，，表示在其他解释变量 保持不变的情况下，Xj每变化1个单位时，Y的 j 均值E(Y)的变化;  或者说，j给出了Xj单位变化对Y均值的“直接”j j 或 “净”（不含其他变量）影响 二、多元线性回归模型的矩阵表示 1011111kk YXX  011nnkknn YXX              n Y Y Y 1            ni i i X X X 1            1 1 l 0 k           1 n            111 1 1 ,,, 1 k k XX Xl XX XX         1 1 nkn XX   01122kk YXXXX     22212 12111 1 1       k k XXX XXX   X 1 2 Y Y Y     )1( 21 22212 1           kn knnn k XXX  X 1 n n Y Y        )1( 21   kn knnn 1 0         2 1         2                 ββ 1 2          n    μμ 1)1(     k k  1  n n  用来估计总体回归函数的样本回归函数为：  ˆˆˆˆˆ kikiiii XXXY 22110  ˆˆˆˆ 其随机表示式: ikikiiii eXXXY ˆˆˆˆ 22110  e称为残差或剩余项(residuals)可看成ei称为残差或剩余项(residuals)，可看成 是总体回归函数中随机扰动项i的近似替代。

样本回归函数的矩阵表达: ββXY ˆˆ  或或 eββXY ˆ 其中其中     ˆ 0     e 1 其中其中：：              ˆ ˆ 1 0  ββ            e  2 e      k  ˆ     n e  多元线性回归模型的建立也需要有理论和现实 的根据  多元线性回归模型中包括哪些变量、因素，哪 个指标是被解释变量，有几个解释变量或哪几个指标是被解释变量有几个解释变量或哪几 个指标作为解释变量，既要考虑理论分析和研 究目的的需要，也应该根据所研究问题的具体究目的的需要应该根据所研究问题的具体 情况、相关经济理论，以及以往研究经验等确 定定 三、模型的假设 (1)变量和之间存在多元线性随机函数 关系； Y 1,k XX 011kk YXX关系； (2) 对任意 都成立； (3)与 无关 011kk  0 i Ei i  2 V(3) ，与 无关； (4)误差项不相关，当时， i  2 i Var ji  (,)0 ij Cov (5)解释变量与随机扰动项不相关； (6)解释变量之间不存在完全的共线性；；( )解释变量之间不存在完全的共线性；； (7)误差项服从正态分布。

i  对假设的进一步分析  上述六条假设中（2）、（3）、（4）、（5）和 （7）与两变量模型相同  第（1）条是关于模型基本变量关系的  第（6）条不仅针对的解释变量数目增加了，而且 第（6）条不仅针对的解释变量数目增加了，而且 多了一个要求解释变量之间没有线性关系的假设， 这是多元线性回归模型的重要特点是多元线性回归模的要特点 第二节参数估计 最小二乘估计一、最小二乘估计 二、消费支出函数模型参数估计消费支出函数模型参数估计 三、参数估计的性质和方差估计 一、最小二乘估计  参数估计也是多元线性回归模型的基本步骤  最小二乘法也是多元线性回归的基本方法 最小二乘法也是多元线性回归的基本方法  对于多元线性回归模型  得到样本回归方程： 011iikkii YXX  得到样本回归方程： 011 ˆˆˆˆ iikki YXX 回归残差平方和  2 2 011 ˆˆˆ iiikki VeYXX      当对的一阶偏导数都等于0，得 到正规  011iiikki ii    01 ˆˆˆ ,, k V  ˆˆˆ到正规 方程组：  011 111122110 ˆˆˆ kk kk YXX SSSS       112210 ˆˆˆ kkkkkk SSSS   其中 112210kkkkkk  KjkXXXXSYYXXS jji i kkjkji i kkik , 1,,, 0    该正规方程组有K+1个方程，未知数也是K+1个。

只要满足模型假设（6），解释变量之间不存在只要满足模型假设（6），解释变量之间不存在 严格线性关系，就可以解出的唯一一 组解 01 ˆˆˆ ,, k   组解  该解就是的最小二乘估计  特别地对于两个解释变量的线性回归模型 0, , k   特别地，对于两个解释变量的线性回归模型： 01122 YXX  样本回归方程是： 01122 ˆˆˆˆ YXX  可推导出参数最小二乘估计的公式如下： ˆˆˆ 01122 2 12212 ˆˆˆ ()()()() iiiiiii YXX y xxy xx x    1 222 1212 ˆ ()()() iiii iiii iii xxx x     2 21112 2 222 ()()()() ˆ ()()() iiiiiii iiii y xxy xx x      2 222 1212 ()()() iiii iii xxx x    最小二乘估计的向量、矩阵形式  向量表示 0 11 1 ˆ ˆ ˆ ˆˆ Ye          βYe 回归方程的向量表示 ,, ˆ ˆ n n k e Y           βYe  ˆ  回归方程的向量表示  回归残差向量 ˆˆ YX β ˆˆ e Y Y Y Xβ 残差平方和   2 ˆˆ i i Ve    e eYXβYXβ ˆˆˆˆ   Y Yβ XYY Xββ X Xβ  当对的一阶偏导数都等于0 V 01 ˆˆˆ ,, k  V 0 ˆ ˆ ˆ 220 V V         β X YX Xβ ˆ k V        β  经整理，可得矩阵形式的正规方程组： ˆ X XβX Y  解得： X XβX Y  ˆ   1 βX XX Y  解得： β 二、消费支出函数模型参数估计  作为例子，我们估 计某地某社区消费计某地某社区消费 需求函数多元线性 回归模型的参数。

回归模型的参数  假设已获得该地区 消费支出(Y)家庭消费支出(Y)、家庭 月收入(X2)及商品 价格(X1)的相关数价格(X1)的相关数 据 消费支出函数Eviews回归输出结果 三、参数估计的性质和方差估计  只要变量关系符合多元回归模型的假设，多元 回归分析参数的最小二乘估计量也有优良的性回归分析参数的最小二乘估计量也有优良的性 质，也是BLUE估计和一致估计  因此在模型假设成立的前提下最小二乘估计 因此在模型假设成立的前提下，最小二乘估计 也是多元线性回归分析基本的参数估计方法， 并能为相关统计推断和预测分析提供基础并能为相关统计推断和预测分析提供基础  要进一步对多元线性回归模型进行统计推断和 检验，同样需要先估计参数估计量的方差检验，同样需要先估计参数估计量的方差  据最小二乘估计公式和模型假设，可以导出两 个解释变量的多元回归模型各个参数的最小二个解释变量的多元回归模型各个参数的最小二 乘估计量的方差 2 222 2121 2 1 2 2 2 2 2 1 0 )( 2 1 )(          i ii i i i i xxXXxXxX bVar 2 21 2 2 2 1 )(         i ii i i i i xxxxn 2  x 2 2 21 2 2 2 1 2 1 )( )(     iiii i i xxxx x bVar 2121 )(  i ii i i i i 2 1i x 2 2 21 2 2 2 1 1 2 )( )(     i ii i i i i i i xxxx bVar iii  上述参数估计量方差中的是模型总体误差项的 方差，一般可以用多元线性回归最小二乘估计的残 2  i  差序列：  011 ˆ iiiiikki eYYYbb Xb X 加以估计，公式是：  011iiiiikki 2  ＝ 2 ˆ 2 1 i i e nk  1nk 第三节回归拟合度评价和决定系第节归拟度评价决定系 数  分析两变量线性回归决定系数公式 2 e   2 2 1 ˆ i i e R YY       可以发现，该决定系数只与被解释变量的观测值以 及回归残差有关，而与解释变量无直接关系。

11222 2 ˆˆ tttt y xy x R     2 t R y   多元模型解释变量的数目有多有少，该决定系数是 解释变量数目的增函数，意味着不管增加的解释变 量是否真是影响被解释变量的重要因素，都会提高。