二元线性回归.docx

第三章多元线性回归模型基本要求：1、 理解多元线性回归模型的定义2、 理解多元线性回归模型的假定3、 掌握参数估计的计算4、 理解参数统计性质第一节多元线性回归模型及假定一、多元线性回归模型许多经济现象往往要受多个因素的影响，研究被解释变量受多个解释变量的影响，就要利用多元回 归模型多元线性回归模型与一元线性回归模型基本类似，只不过解释变量由一个增加到两个以上，被解释变量Y与多个解释变量X1, X尸…,Xk之间存性关系假定被解释变量Y与多个解释变量X 1, X尸…,Xk之间具有线性关系，是解释变量的多元线性函数， 称为多元线性回归模型即y = B +B x +B X + x +p (3-1)0 11 2 2 k k其中Y为被解释变量，Xj(j = 1,2,...,k)为k个解释变量，P\j = 0,1,2，…,k)为k +1个未知参数，^ 为随机误差项被解释变量Y的期望值与解释变量X 1,X2,…,Xk的线性方程为：E(Y) = P +P X +P X +•." X (3-2)0 11 2 2 k k称为多元总体线性回归方程，简称总体回归方程对于n组观测值Y「X1Z, X2i,…，Xk〔 (i = 1,2,…,n)，其方程组形式为：Y = P +P X +P X +•••+& X +p ,(i = 1,2，…,n) (3-3)i 0 1 1i 2 2 i k ki iY =p +p X +p X + …+ p X +r1 0 1 11 2 21 k k1 1y =p +p x +p x + …+p x +r2 0 1 12 2 22 k k2 2y =p +p x +p x + …+ p x +rn 0 1 1n 2 2 n k kn n其矩阵形式为Y ~「1XX11121Y1XX-:12.•22.•Y1XXn」1—1n2nX -k1X.k2-p0 -P 2.+L* 1 p .2Xknp1- k Jpn(3-4)「Y 1「1XX11121Y =Y1XX2 .为被解释变量的观测值向量；X =.12 .22nx1:nx( k+1)..•.•Yn1X1nX2n其中Xk1X …k 2为解释变量的观测值矩:Xknp =(k+1)x1P 2.为总体回归参数向量；p =nx1「p11 p2为随机误差项向量。

pkpn阵;总体回归方程表示为:(3-5)E (Y) = Xp与一元线性回归分析一样，多元线性回归分析仍是根据观测样本估计模型中的各个参数，对估计参 数及回归方程进行统计检验，从而利用回归模型进行经济预测和分析多元线性回归模型包含多个解释 变量，多个解释变量同时对被解释变量Y发生作用，若要考察其中一个解释变量对Y的影响就必须假设 其它解释变量保持不变来进行分析因此多元线性回归模型中的回归系数为偏回归系数，即反映了当模 型中的其它变量不变时，其中一个解释变量对因变量Y的均值的影响由于参数P ,P ,P，…，P都是未知的，可以利用样本观测值(X ,X，…,X ;Y)对它们进行估 0 1 2 k 1i 2 i ki i计若计算得到的参数估计值为 B,6,6 ,•••,6，用参数估计值替代总体回归函数的未知参数0 1 2 kP , P , P ,•••,&，则得多元线性样本回归方程：0 1 2 kY = 6 +B X +6 X +..・+6 X (3-6)i 0 1 1i 2 2i k kn其中p j(j = 0,1,2, ...,k)为参数估计值，匕(i =1,2，…,n)为Y的样本回归值或样本拟合值、样本估计值。

其矩阵表达形式为：(3-7)Y = XPq其中Y =nxlX = 1nx( k+1) :X11X12 .为被解释变量样本观测值向量YX21X22 .1X X1n 2 n的n x 1阶拟合值列向量；Xk1Xk2为解释变量X的n x (k +1)阶样本观测矩阵;屈+1)X1人00 人 01 人 02Xkn未知参数向量0的(k +1)x 1阶估计值列向量样本回归方程得到的被解释变量估计值Y与实际观测值Y之间的偏差称为残差ei i i(3-8)e = Y -Y = Y -(0 +B X +B +・・・+B X )i i i i 0 1 1i 2i ki ki二、多元线性回归模型的假定与一元线性回归模型相同，多元线性回归模型利用普通最小二乘法(OLS)对参数进行估计时，有如下 假定：(3-9)假定1零均值假定：E(Pi) = 0,，= 1,2,.../，即E (H) = E1p1「 p2— =[E (p1)] E( p「pE (p )0n n假定2同方差假定(P的方差为同一常数):Var(p ) = E(p2) =q2,(i = 1,2，…，n) i i假定3无自相关性：Cov (^ p.) = E(^ p.) = 0,( i 古 j, i, j = 1,2,...,n)”1 ^p2pp12• • •pp1 np2(p「p2，…,p〃)=Ep p21.p22.••• • •.••p2pn_Lp」 n2 ”一p ppn p2• • •p2」 nE (叩')=EE(叩E (p p )•: 1E (P1 p「…E (p 2)…2• *• •• •E ( * p n)E (p p )2 nL e ( p n P1)E(pnp2)…E (p 2) nb 20 …0「p0:b 2 …p. .• •0 •=b 21u n(3-10)_ 00 …b 2p假定4随机误差项R与解释变量X不相关(这个假定自动成立)：Cov (X , ^ .) = 0,( j = 1,2,…,k, i = 1,2,…,n)假定5随机误差项R服从均值为零，方差为。

2的正态分布：R 〜N(0,b；I )假定6解释变量之间不存在多重共线性：rank (X) = k +1 < n即各解释变量的样本观测值之间线性无关，解释变量的样本观测值矩阵X的秩为参数个数k+1，从 而保证参数P ,P ,B ,•••,&的估计值唯一0 1 2 k第二节多元线性回归模型的参数估计及统计性质一、多元线性回归模型的参数估计(一)回归参数的最小二乘估计对于含有k个解释变量的多元线性回归模型Y = P +P X +P X +.••+& X +p (i = 1，2,…，n)i 0 1 1i 2 2 i k ki iAAA c c c设P ,P ,…,P分别作为参数P ,P ,…,P的估计量，得样本回归方程为：0 1 k 0 1 kY = P +8 x +8 x +・.・+E xi 0 1 1i 2 2i k ki..一 . . ..A 观测值Yi与回归值X的残差匕为：e = Y -Y = Y —(P +P X +P +・.・+P X )i i i i 0 1 1i 2i ki ki由最小二乘法可知B ,8，…,8应使全部观测值Y与回归值Y的残差e的平方和最小，即使0 1 k i i i06 ,6,6 ,…,6)=二2 =£(-旧)20 1 2 k i i i=£(Y - B -6 x -6 x — B x)2 (3-ii)i 0 1 1 i 2 2 i k ki(3-12)取得最小值。

根据多元函数的极值原理，q分别对B ,B，…,B求一阶偏导，并令其等于零，即 0 1 k= 0,( j = 1,2,...,k) 祁.j即票=2£(Y-P -P X -P X ——P X )(-1) = 0°B i 0 1 1i 2 2 i k ki0丝=2£郎1(Y - 8 -E X - 8 X E X )(-X ) = 0i0 1 1i 2 2 ik ki 1i-Q = £(Y-P -P X -P X P X )(-X ) = 0°P i 0 1 1i 2 2 i k ki kik化简得下列方程组弗 +P £ x +p £ x +...+P £ x =£ y1 1^^ 2 2^ k k， '8 £x +8 £x2+B £x x +...+& £x x< 0 1i 1 1i 2 2 i 1i k ki 1i=£ x^y(3-13)8 £ x +8 £ xx +0 ki 1 1 i kiP £X X +... + B £X2 =£X Y2 2i ki k ki ki i上述(k +1)个方程称为正规方程，其矩阵形式为1Z如 ZZ-X•: X ZZ_lz21ZXX.如X•Z1XZ•Z12ZXX2Z £如X•Z2X•Z1如X 2如 X ，如…X !「"y.zy.z Y.z1Z如 E X •: X zzz _ 一--4-31Z21ZXX .■z12ZXX 峪2Z&12 n11‘： 1 如 X X XX，2Z1 1 •: 1X 一 _z 」XX X V • • • - J ■z • -1XNl n "1 XX X■z1■z >-z** 2化 X ，如…X z&zXX X • • • • • • J 2r 2 2•:XX X一一op设「£ Y ]£ xY•1 i£ XY1- ki i-1X X …11 12X X …21 22• , ,• , ,• • •X X …-k1 k 21XXln2 n•Xkn」Y% = X，Y•Yn」《3QB1《3 2.-.为估计值向量Apk」一 一△ 一-样本回归模型Y = Xp + e两边同乘样本观测值矩阵X的转置矩阵X，，则有• • 人 •X，Y = XfXp + X，e得正规方程组:(3-15)■ ■ 人XY = XXp由假定(6)，R(X) = k +1，X X为(k +1)阶方阵，所以X X满秩，X X的逆矩阵(X，X)-1存在。

因而(3-16)p = (X，X)-1 X，Y则为向量P的OLS估计量以二元线性回归模型为例，导出二元线性回归模型的OLS估计量的表达式由(3-3)式得二元线性回 归模型为Y 。