第3章 双变量模型：假设检验.docx

第3章双变■模型：假设检验本章主要讲授如下内容：3. 1经典线性回归模型3. 2 OLS估计屋的方差与标准差3. 3 OLS估计量的性质3.4 OLS估计量的抽样分布或概率分布3. 5假设检验3.6拟合优度检验：判定系数R'3. 7正态性检验3. 8预测3.1经典线性回归模型经典线性回归模型有如下假定：1. 回归模型是参数线性的，但不一定是变量线性的2. 解释变量与扰动误差项不相关，即cov（X” 5）=03. 给定Xi，扰动项的期塑或均值为0,即E（u|X】）=0 如图3-1所示FIGURE 3*1 Conditional disirrbution of disturbances uf4・5的方差为常数（或同方差），即¥31（^）=020 如图3-2所示FIGURE 42 心)Homoscedasticity (equal variance); (Q) Heteroscedasticity (unequal variance)5.无自相关假定,即cov(Ui, Uj)=0, iHj 如图3-3所示气 气何 (可 ㈡FIGURE 34Patterns of autocorrelation： (a) Nq autmorrolMQe; 9) positive autocorrelation; (c) negative autocorrelation6.回归模型是正确设定的。

3.2 0LS估计量的方差与标准差g) = Jvar0j■>吨2) = Jvai©)CT2 =〃一 23. 3 OLS估计量的性质1. 高斯一马尔柯夫定理如呆满足经典线性回归模型的基本假定，则在所有线性估计量中，OLS估计量具有最小方差性 即OLS估计量是最优线性无偏估计量(ELUE)2. OLS估计量的性质(1) 5和b2是线性估计量，即它们是随机变量Y的线性函数证明：其中，k产xi同样可得：仿= Y-b2X=^Y,-工曲=工Q 一砍比=工咕 其中，vv. = — Xkj on(2) b| 和 b2 是无偏估计量，即 E(b1)=B1, E(b2)=B2o①对于b“证明S =工X =工kg + B2 X, +忙工心+ B2 DX +工炯易知,Di=^^ = O, ^k.x. = 1所以故得Eg = E® + 工如）=B2 + 工阿）=B2②对于5,证明b严工砒=工叱(d + BN +曾)=d工叫+ B2工叱X, +工w”易知,工叫=1,工叫x,=o所以故得E（bJ = E（B、+ 工 = E（BJ + 工比£（比）=B]（3）bl和b2是有效估计量，即在所有线性无偏估计量中最小二乘估计量b!和b2具有最小方差。

①b和X方差求解var(/?2) = 必)=》k： var(B1 + B2Xt + ut)=var(wj = Xvard) = vai(工叫匕)=工话 var© + B2Xt+ui)也卜盼宀工H-2-Xki + X2P a2 n②证明: 假设b；=工呐 是用其他方法得到的关于氏的线性无偏估计量，（:严叮 E（b；）=B2E(b； ) = E(^cY)=工 q E(K)=工 q (心 + B2 X J =色 D + B2 工 q X’由无偏性E（b；） = B»可得:BE5+B正存严禺比较等式两边，得:&=0,工皿=1而且有：工化c匕）工也工&工工;£工人工"厂苍＞-&； 也=1 - 1 =0故：vai(b；) = v如(工c必)=o-2 工c； = er2 工& + c. - kJ =夕工［k： + (q - kt)2 + 2k© -灯)1 "Um/2^Xi同理，可证得：vai（b；） > Vai© ）（4）误差方差的OLS估计量是无偏的，即E（&2） = a2证明:前面已经提及宀当，现在要证明En-2对于模型乙=d+/X,+%・，其离差形式为:yt = B2xi + （iti -u）根据样本回归函数Y =b^b2X2,其离差形式为：刃=所以s =）： 一 z=（场-b2）xi+a - «）故有:工才=工（％ - X）=工［（伙 -®）兀+（w,-w）］2=工［（B, ~b2）~x, + 2（B2 — b2）xt（%. — w） + （wz — w）~］=工（伙-®）■: +工仇-汀- 2工［（工切”（纯-帀）］=工（Bj-bJ■: +工仇-汀一2刃（工匕讣网-（工炯）兀可=工（场-®）讨+工仇-汀-2工"正炯+ 2帀工兀工也=工（Bj—bjx； +工仇-疗一 2工g空;，因为E［工(伙一 bj'x；］=工彳 var(/?2) =E［工（冷 ~«）2］= E［工（"：+ 沪- 2 函）］=E［工才 + nu2 - 27 工冷］ =£（工才一府）=耳工才一 乂刃汀］ =耳5＞； -丄（工＞：+2工叽）］n 淨j=X E（"；）-丄工 E（"；）+ 2 工 Eg.）fJ 淨j1 r ,=hct ——nb = (〃_1)(7- n(S-w)2-=E%；+2工（心勺）（叽）详j[o; j所以E(^e~) = b‘ + (n- l)cr2 一 2cr = (n一 2)cr2从而3.蒙特卡罗实验（1）假定给定卞列信息Yi = Bi +B?Xi + Ui=1.5 +2.0Xa + Ui这里i~N（0,4）（2）假定再给&的10个值：123456789,10：（3） 使用统计软件产生均值为零和方差为4的随机误差项q的10个随机数;（4） 利用上面所给的方程得到Y的10个值；（5） 将匕对X进行回归,得到叽吐和亍;（6） 重复上述步骤21次，得到如表3・2所示（Tabh3・2）的结果。

TABLE 3-2 MONTE CAFLO EXPER^IENT: 5 + 2為♦ s；V- N0 4)5F2.71597.16633.3X6-2.1 TO2.07M4.39327.17705.75523.61763.47C61.4?04.4479-0.1362.1302 J 7562.82911.62521.5104 4.7W07 3^581-80361^796owo4 99082 9604 5514b - 1 4S26”96665.2258J2 - 4 4743结论：假如反复利用最小二乘法求解参数的估计值，所估计出的参数的平均值将等于其真值 也就是说，OLS估计量是无偏的例题例题1没有截距项的一元回归模型Y产 BN*,称之为过原点回归试证明：（1）如果通过相应的样本回归模型可以得到通常的正规方程组b：=则町得到b2的两个不同的估计值:b2 =（2） 在基本假设E（⑹=0下，久和址均为无偏估计量3） 拟合线Y =b\Xt通常不会经过均值点（乂,7）,但拟合线Y =b.X ^\经过4） 只有b；是坯的OLS估计量证明：（1）由第一个正规方程工＞=0,得或m疋x,求解，得J-X由第二个正规方程工©X, =0,得或工 X,Z=b；工 X：求解，得（2）对于b广,,求期望y I 1= E（〒）=E［一工（伙 X： +//,）］A A H=〒［—E（工 3丸）+ —E（m）］X n n对理号，求期望砸）=吨饕）=如工心如艸）=b2（3）要想拟合线Yi=b^Xi通过点（乂了），盯乂必须等于八但庆片=窖? 乂- 工X：通常不等于卩。

因此，点（产,卩）不太可能位于直线£=b；X,上相反地，由于b2X = Y,所以直线y =b2Xt经过点（X,Y ）o（4） OLS方法要求残差平方和最小，即对妨求偏导，得孚乙=2 工a-b；XJ（-XJ = O经整理，得b：=可见,b；是氏的OLS估计量例题2对一元线性回归模型试证明耳=坊+ B’X ： + /£・证明:Cov(b^b2) = -—^Cov(b”bJ = E[($ - BJ収- B2)] =£血-E(bJ][®-E(®)]} =E^(Y-b2X)-(Y-XE(b2))] \b2 - )]}=-XE^b2 - E(b2)]\b2 - E(®)]} = -XE[b2-E(b2)]1=-XVar(b2)(y~X例题3在一元线性回归模型匕=§ + BN + M中（1） 用不为零的常数§去乘每一个X值，这样会不会改变Y的拟合值和残差?（2） 如果对每个X都加人一个非零常数会不会改变Y的拟合值和残差？ 解：（1）记原总体模型对应的样本回归模型为 Yi = b] +b2Xi +e.t 则有b,=畧匚，b^Y-b.X匕的拟合值与残差分别为y =bl+b2Xiei = X -（A +b?Xi）记x： = $c，则有x； = X： - X,.=爲记新总体模型对应的样本回归模型为y = +a2X^ + e：则有_。

升_工就％ _ 1工兀另_ 1a, = Y-ci.X^ = Y 一丄= Y-b.X =bL于是，在新的回归模型卞，Y的拟合值与残差分别为—+以：=5 +丄=/?1 +b2Xt€；=Z—(®+yX：)=Z 一 @L +亍2 陆)O= Yi-(bl+b2Xt)可见，对X乘非零常数后，不改变Y的拟合值与模型的残差2)如果记Xj =X, + 5则有于是，新模型的回归参数分别为u _ DMa^Y-a.X'= Y-b2 (X+S)= Y-b2X-b26=片_ %在新的回归模型下，Y的拟合值与残差分别为=(® -血J) + b? (X. + 5) =b、+b2X.力彳-⑷+①疋)=丫匚-[(b{—励丄)+ “2 (Xf + 5)]= Yi—6+b£i)可见，对每个X都加人一个非零常数也不会改变Y的拟合值和残差 例题4假设有人做了如下的回归% =久+®兀+©其中，y“ &分别为Y-呂关于各自均值的离差问b】和6将分别取何值?解：记元=+工Xi , y = -Yyf.,则易知nx = y = O于是b —工（兀-元）（儿-刃_" 工（兀® 工彳b、= y-b2x = 0可见，在离差形式下，没有截距项，只有斜率项。

例题5令b仅和b-分别为Y对X回归和X对Y的回归中的斜率，证明: byx bXr= r2 其中，r为X与Y之间的线性相关系数证：容易知道，在上述两个回归中，斜率项分别为于是byx bxY工彳工y； 一工彳工y；例题6对于过原点的回归模型y;=伙试证明证明：模型Yi = B,X,+m的参数b2的OLS估计量为：一工X/_ 。