多元线性回归模型及假定.docx

第三章 多元线性回归模型基本要求：1、理解多元线性回归模型的定义2、理解多元线性回归模型的假定3、掌握参数估计的计算4、理解参数统计性质第一节 多元线性回归模型及假定一、多元线性回归模型许多经济现象往往要受多个因素的影响，研究被解释变量受多个解释变量的影响，就要利用多元回归模型多元线性回归模型与一元线性回归模型基本类似，只不过解释变量由一个增加到两个以上，被解释变量Y与多个解释变量X , X，…,X之间存性关系1 2 k假定被解释变量Y与多个解释变量X ,X，…,X之间具有线性关系，是解释变量的多元线性1 2 k函数，称为多元线性回归模型即Y = 0 +0 X +0 X + …+ 0 X +卩 (3-1)0 1 1 2 2 k k其中Y为被解释变量，X (j = 1,2，…,k)为k个解释变量，卩(j = 0,1,2，…,k)为k +1个未知参数，j j卩为随机误差项被解释变量Y的期望值与解释变量X ,X，…,X的线性方程为：1 2 kE(Y) = 0 +0 X +0 X + …+0 X (3-2)0 11 2 2 k k称为多元总体线性回归方程，简称总体回归方程对于n组观测值Y，X，X，…,X G = 1,2,…,n），其方程组形式为：i 1i 2 i kiY = B +B X +B X + …+ B X +卩,(i = 1,2,…,n) (3-3)i 0 1 1i 2 2 i k ki i即y二卩+卩X +卩X +…+卩X +卩1 0 1 11 2 21 k k1 1Y二卩+卩X +卩X +…+卩X +卩2 0 1 12 2 22 k k2 2Y二卩+卩X + B X +…+B X +卩n其矩阵形式为011n 2 2n"Y 一"1XX …X 一11121k1Y1XX …X2■■=■■12■■22• •• •• •k 2■■Y1XX …Xn一1n2nknk knn"B 10B11B+2■2■■■Bnk(3-4)值矩阵；卩"B0 10B1B2■■为总体回归参数向量；p =nx112■■Bkn为随机误差项向量。

k+1)x1"Y 1"1XX… X 111121k1Y为被解释变量的观测值向量；X =1XX… XY =2■■12■22■k2• •nx1■nx(k +1)■■■• •• •Yn1X1nX2n… Xkn其中为解释变量的观测总体回归方程表示为：(3-5)E (Y) = XP元线性回归分析一样，多元线性回归分析仍是根据观测样本估计模型中的各个参数，对估 计参数及回归方程进行统计检验，从而利用回归模型进行经济预测和分析多元线性回归模型包含多个解释变量，多个解释变量同时对被解释变量Y发生作用，若要考察其中一个解释变量对Y的影 响就必须假设其它解释变量保持不变来进行分析因此多元线性回归模型中的回归系数为偏回归系 数，即反映了当模型中的其它变量不变时，其中一个解释变量对因变量Y的均值的影响由于参数0 ,0 ,0，…,0都是未知的,可以利用样本观测值(X , X，…,X ; Y)对它们进行0 12 k 1i 2i ki i估计若计算得到的参数估计值为0,0,0，…,0，用参数估计值替代总体回归函数的未知参数0 1 2 k0，0，0，…,0，则得多元线性样本回归方程：0 1 2 kY = 0 +0 X +0 X +・・・+0 X (3-6)i 0 1 1i 2 2i k kn其中0.(j = 0丄2,…,k)为参数估计值，Y(i = 12…,n)为Y的样本回归值或样本拟合值、样本估j i 「计值。

其矩阵表达形式为:/XY = Xp(3-7)其 中 YnX12为被解释变量样本观测值向量Y的n x 1阶拟合值列向量；Yn1 X X11 211 X XX =・・12 .22nx( k+1) : : :1 X X1n 2nXk1XXkn1乂1+为未知参数向量卩的(k +1)X1阶估计值列向量k2为解释变量X的nX(k +1)阶样本观测矩阵；八k样本回归方程得到的被解释变量估计值0与实际观测值Y之间的偏差称为残差ei i ie = Y -P = Y -(0 +0 X +0 +・・・+0 X ) (3-8)i i i i 0 1 1i 2i ki ki二、多元线性回归模型的假定与一元线性回归模型相同，多元线性回归模型利用普通最小二乘法（OLS）对参数进行估计时，有 如下假定：假定1 零均值假定：E（卩）=0,i =1,2，...,n，即（3-9）iE （H） = E电一12■■■=「E （卩）］1E （卩）2■■■E （卩）nn假定 2同方差假定（卩的方差为同一常数）：Var（卩）=E（卩2） =a2,（i = 1,2,…,n）i i假定 3 无自相关性：Cov（卩,卩）=E（卩卩）=0,（ i 丰 j, i, j = 1,2,…,n）i j i jE（冲'）二 E「卩_卩2… 4411121 n（卩,卩，…，卩）=E42… 4 42■2 1■2■2 n• •■■1 2 n■■■■• •• •nn1n2… 4 2nE （ » 2）1E （卩卩）21■E （卩卩）12E （»2）2…E （吓）1n…E （卩卩）2n• •a20a2.卩=a 21un（3-10）假定4随机误差项卩与解释变量X不相关（这个假定自动成立）:Cov （X ,卩）=0,（ j = 1,2,…,k, i = 1,2,…,n）ji i假定 5随机误差项卩服从均值为零，方差为a 2的正态分布:假定 6 解释变量之间不存在多重共线性：rank (X) = k +1 < n即各解释变量的样本观测值之间线性无关，解释变量的样本观测值矩阵 X 的秩为参数个数k+1，从而保证参数P ,P ,P，…,P的估计值唯一。

0 1 2 k第二节 多元线性回归模型的参数估计及统计性质一、多元线性回归模型的参数估计(一)回归参数的最小二乘估计对于含有 k 个解释变量的多元线性回归模型Y = P +P X +P X +・・・+P X +p (i = 1,2,…，n)i 0 1 1i 2 2i k ki i设P，P，…,P分别作为参数P , P，…,P的估计量，得样本回归方程为：0 1 k 0 1 kY = P +0 X +0 X +・・・+P Xi 0 1 1i 2 2i k ki观测值Y与回归值Y的残差e为：e = Y -Y = Y -(0 +0 X +0 +・・・+0 X )i i i i 0 1 1i 2i ki ki由最小二乘法可知P , P，…,P应使全部观测值Y与回归值Y的残差e的平方和最小，即使0 1 k i i iQ(P , 0 ,0，…,0 )=乙e2 =乙(Y - Y)20 1 2 k i i i=工(Y - 0 -P X -P X P X )2 (3-11)i 0 1 1i 2 2i k ki取得最小值根据多元函数的极值原理，Q分别对P , P，…,P求一阶偏导，并令其等于零，即 0 1 k-i- = 0,( j = 1,2,…,k) (3-12)郎j即(寸一:—m)(mx—l—m)g矍忌K-驱豐 卫 卫上 缶z 二I 0 z g© 0H( x—)( xg— xg— xg— g—>)wH 糾二 卫上 缶z 二i o z g© OH- x—)( xg— xg— xg— g—>)wH 劄0 卫 4 缶 z 二 i 0 z g© 02—)( xg— xg— xg— g—>)f 糾*収旺体.7 q X X .CM ... XH*7a Xx k &.•WH

因而(3-16)p = (XX)-1 XY则为向量卩的OLS估计量以二元线性回归模型为例，导出二元线性回归模型的 OLS 估计量的表达式由(3-3)式得二元线性回归模型为Y = 0+0 X +0 X +卩i 0 1 1i 2 2i i为了计算的方便，先将模型中心化X =1 艺 X , x = X - X , j = 1,2)j n ji ji ji ji=1Y = 1D , y = Y - Y n i i ii=1L =工 x x ，(p，q = 1，2)pq pi qi将Lpq因为L =工 x y ,(j = 1,2)jY ji iL =工 y 2YY iB0 +卩1 X - +卩2 X，则二元回归模型改写为中心化模型1122=(X0+ B x + 卩1i 2 2i ia「1 xx,P=01121B1 xx11222B2X =「n00 一「工Y ]XX =0工x 2工x x,X'Y =工x Y0工x；2i 1i1i 2i乙x 22i1i。