经典线性回归模型（高级计量经济学清华大学潘文清）

1、第四章 经典线性回归模型(I),Classical Linear Regression Model (I),4.1 经典线性回归模型 Classical Linear Regression Models,一、经典回归模型 Classical Regression Model,假设随机抽取一容量为n的样本(Yi, Xi), i=1,n，其中，Yi是标量，Xi=(1,X1i,X2i,Xki)，或,经典回归模型(classical regression model)建立在如下假设之上：,假设1(linearity): Yi=0+1X1i+kXki+i =Xi+i (i=1,2,n) 或 Y=X+ 其中，=(0, 1,k), =(1,2,n),注意： 这里的线性性指Y关于参数是线性的。,假设2（strict Exogeneity）: E(i|X)=E(i|X1,X2,Xn)=0, (i=1,2,n),注意： (1) 由E(i|X)=0 易推出：E()=0, E(Xji)=0 或有： Cov(Xj, i)=0 (i, j=1,2,n) (2) 由于可以有ji, 或ji, 意味着i既不依赖过去的X

2、，也不依赖于未来的X。因此排除了动态模型。 例：对AR(1)模型： Yi=0+1Yi-1+i=Xi+i 这里Xi=(1, Yi-1)，显然E(Xii)=E(Xi)E(i)=0，但E(Xi+1i)0。因此，E(i|X)0,(3) 计量经济学中，关于严格外生性有其他的定义。如定义为i独立于X，或X是非随机的。这一定义排除了条件异方差性。而我们这里的假设2是允许存在条件异方差性的。,如果X是非随机的，则假设2变成 E(i|X)=E(i)=0,(4)假设2的向量形式： E(|X)=0,注意： (1)本假设排除了解释变量间的多重共线性(multicollinearity) (2) 本假设意味着XX是非奇异的，或者说X必须满秩于k+1。因此应有k+1n。 (3) 由于表述了矩阵XX的相关信息，因此本假设意味着当n时应有新信息进入X，即Xi不能老是重复相同的值。,假设4（Spherical error variance） (a) conditional homoskedasticity: E(i2|X)=20, i=1,2,n (b) conditional serial uncorrelatedn

3、ess: E(ij|X)=0, i, j=1,2,n,注意： (1) 假设4可写成 E(ij|X)=2ij, 其中， i= j时，ij=1； ij时，ij=0 矩阵形式： E()=2I,(3) 假设4意味着存在非条件同方差性： var(i)=2 类似地， Cov(i, j)=0,(2)由假设2， Var(i|X)=E(i2|X)-E(i|X)2=E(i|X)=2 同理， Cov(i,j|X)=E(ij|X)=0,(4) 假设4并不意味着i与X是独立的。它充许i的条件高阶矩（如：偏度、峰度）可依赖于X。,二、参数的估计 Estimation of ,由假设1与假设2知： E(Y|X)=0+1X1+kXk=X 其中，X=(1, X1, ,Xk) 即线性模型Y=X+关于E(Y|X) 正确设定。,因此，其最佳线性最小二乘近似解(beat linear LS approximation coefficient)*等于参数的真实值0。 即，min E(Y-X)2 的解为 *=0=E(XX)-1E(XY),由类比法，对样本回归模型 Yi=Xib+ei i=1,2,n 其中，Xi=(1, X1i, ,

4、Xki), b=(b0, b1, ,bk) 需求解极值问题 min (1/n)(ei)2,上述问题相当于求解残差平方和(sum of squared residuals, SSR)的极小值 min SSR(b)=ei2=(Yi-Xib)2=ee=(Y-Xb)(Y-Xb) 其中，e=(e1,e2,en),在假设3下，解为： b=(XX)-1(XY),该方法称为普通最小二乘法(ordinary Least Squares),(1) 1阶偏导： SSR/b= -2X(Y-Xb) 2阶偏导： 2SSR/2b=2XX 由min(XX)0 知2XX0, 从而b=(XX)-1(XY)是最小值 由1阶极值条件可以得到所谓正规方程(normal equations): X(Y-Xb)=Xe=0 正规方程是OLS所特有的，而不论是否有E(i|X)=0,注意：,一些有用的等式,(1) Xe=0 (2) b-=(XX)-1X 因为 b=(XX)-1XY=(XX)-1X(X+)=+(XX)-1X (3) 定义nn方阵： P=X(XX)-1X , M=In-P 则 P=P ， M=M P2=P， M2=M 且 P

5、X=X, MX=On(k+1) (4) e=MY=M SSR(b)=ee=YMY=M,三、高斯-马尔科夫定理 Gauss-Markov Theorem,Question: OLS估计量的统计性质如何？ (1)Unbiaseness E(b|X)=, E(b)= E(b|X)=E(+(XX)-1X)|X=+(XX)-1XE(|X)= (2)Vanishing Variance Var(b|X)=E(b-)(b-)|X =E(XX)-1XX(XX)-1|X =(XX)-1E(|X) =(XX)-12I =2(XX)-1 b中第i个元素的方差：Var(bi)= 2cii, cii为(XX)-1中主对角线第i个元素。,对任何其元素平方和为1的(k+1)1向量, =1 Var(b|X) = 2(XX)-1 2max(XX)-1 = 2min(XX)-1,注意： Var(b|X)0还可通过Chebycheff不等式来证明： 对b中的第i个元素：P|bi-i|=0 for all 0,由于 b- =(XX)-1X E(e|X)=E(M|X)=ME(|X)=0 故 Cov(b, e|X)=E(XX)-

6、1Xe|X = E(XX)-1XM|X = (XX)-1XE(|X)M =2(XX)-1XM =Onn,(3) Orthogonality between e and b Cov(b,e|X)=E(b-)(e-E(e)|X,(4) Gauss-Markov theorem In the CR model, the LS coefficient vector b is the minimum variance linear unbiased estimator of parameter vector .,E(b*|X)=EC(X+)|X=CX+CE(|X)=CX b*是无偏的当且仅当CX=I 于是 b*=CY=C(X+)=CX+C=+C b*-=C 则 Var(b*|X)=E(b*-)(b*-)|X=ECC|X =CE(|X)C=C2IC=2CC 于是 Var(b*)-Var(b)= 2CC- 2(XX)-1 = 2CC-CX(XX)-1XC = 2CI-X(XX)-1XC= 2CMC = 2CMMC= 2(MC)(MC) = 2DD= positive semi-definite,设b

7、*是另一线性无偏估计：b*=CY 其中，C=C(X)为一n(k+1)只依赖于X的矩阵。 只需证明 Var(b*)-Var(b)是半正定的,(1) Gauss-Markov 定理表明OLS估计量b是的最佳线性无偏估计量(best linear unbiased estimator, BLUE) ； (2)由性质(1)与性质(2)还可得出，OLS估计量b依均方收敛于，因此依概率收敛于，从而是的一致估计量。 (3)由性质(1)与性质(2)知： MSE(b|X)=E(b-)(b-)|X) =Var(b|X)+bias(b|X)2 0 (n),注意：,四、估计2及Var(b) Estimation of 2 and Var(b),由于2未知，而Var(b)中也有2，故需估计。 由假设4，E(i2|X)=2，故可用E(ei2|X)来估计2。 E(ei2|X)=E(ee|X)= E(M|X)=E(ijmijij|X) = ijmijE(ij|X)= 2imii = 2trace(M) 而 trace(M)=trace(In-P)=trace(In)-traceX(XX)-1X =n-trace(XX

8、)-1XX=n- trace(XX)-1XX =n-(k+1) 于是 E(ei2|X)=E(ee|X)= 2(n-k-1),记s2=ei2/(n-k-1)=ee/(n-k-1)，则s2为2的无偏估计量,五、估计条件期望及预测 Estimation of conditional Expectation, and Prediction,1、估计条件期望,2、Y个值的预测,六、测度拟合优度 Measuring Goodness of Fit,Ruc2为非中心化多元相关系数的平方(Uncentered squared multi-correlation coefficient),Question: How well does the linear regression model fit the data? That is, how well does the linear regression model explain the variation of the observed data?,注意： (1) 0 Ruc21 (2) Ruc2 的含义：Y的变化中可以由X的变化解释的部分所占的比重,称为Y的方差分解式(analysis of variance)：观测值的离差平方和(SST)等于拟合值的离差平方和(SSE)加残差的平方(SSR): SST=SSE+SSR,(3) R2是解释变量数目Xi的非递减函数。 Proof: 记 Yi=Xi+ui (i) 对应 R2 Yi=Xi+vi (ii) 对应R+2 其中，Xi=(1,X1i,Xki), Xi+=(1,X1i,Xki,Xk+q,i) 求解min SSR()可看成在k+1=k+q=0的约束下求解min SSR(+)。 有约束的(i)的残差平方和不会小于无约束的(ii)的残差平方和：e+e+ee,为避免将无解释力的解释变量纳入到X中去，引入调整的决定系数(adjusted coefficient of determination):,(4)决定系数仅是对样本回归线拟合样本数据的程度给予描述。而CR模型并不要求R2要有多高，CR模型关心的是对总体回归参数的估计与检验。,(5) 有两个常用的判别是否有必要引入额

《经典线性回归模型（高级计量经济学清华大学潘文清）》由会员F****n分享，可在线阅读，更多相关《经典线性回归模型（高级计量经济学清华大学潘文清）》请在金锄头文库上搜索。