Chapter1-线性回归模型的OLS估计.doc

第1章 线性回归模型考察多个自变量对一个因变量的影响比如，施肥量、土质与农业产量的关系，受教育年数、工龄、性别对收入的影响，警察数量、下岗职工对城市犯罪率的影响等以双变量为例x1、x2对y存在影响，同时x1和x2之间也存在相关关系如图所示X1X2y1.1 模型设定假定变量yt与k个变量xt j, j = 1, … , k，存性关系多元线性回归模型表示为， 1.1其中yt是被解释变量（因变量），xj t是解释变量（自变量），ut是随机误差项，bi, i = 0, 1, … , k是回归参数（通常未知）这说明xj t, j = 1, … , k, 是yt的重要解释变量ut代表其他影响yt变化的随机因素 给定一个样本（yt , xt1, xt2 ,…, xt k），t = 1, 2, …, T，上述模型表示为， 1.2令 , , 则(3.3) 式可以写为， y = Xb + u 1.3授课：XXX1.2 参数估计1.2.1 参数的点估计1． 最小二乘法（OLS）设残差平方和用Q表示， 1.4上式中，因为是一个标量，所以有。

求Q对的一阶偏导数，并令其为零， 1.5化简得， 假定1 解释变量之间线性无关Rank(X'X) = Rank(X) = K＋1 1.6其中Rank(×)表示矩阵的秩即解释变量之间彼此线性无关如果假定1成立，可以直接得到的最小二乘估计量， 1.7表示y的拟合值，表示残差项拟合值和残差项经常表示为另外一种形式： 1.8 1.9其中，，称为映射矩阵Py表示y对X回归的拟合值称为零化子矩阵My表示y对X的残差项因此，y总是可以表示为y=Py+My可以证明，P和M都是对称幂等矩阵，即 M = M '，P = P ' M2 = M ' M = M '，P 2 = P ' P = P ' 1.10且有 PX=X， MX=0 1.11M+P=I，PM=0 由正规方程组可得，即。

进而可得即授课：XXX1.2.2 FML定理接下来我们介绍OLS估计量的一个重要性质，即FML定理（Frisch and Waugh(1933)、Lovell (1963)）这一定理体现了线性回归模型参数的经济含义在虚拟变量等问题的处理中重要的应用将所有的解释变量拆分为两部分模型表述为： 1.12残差平方和为： 1.13对应的正规方程组为： 1.14由（1）式可得： 1.15由此可以看出，如果，则即当X2与X1正交时，模型与的参数估计量是完全相同的将（2.21）式带入正规方程（2）可得到解： 1.16其中，M1表示X1的零化矩阵，根据零化矩阵的性质， 1.17其中，表示X2对X1回归的残差项，表示y对X1回归的残差项由此得到如下定理Frisch-Waugh定理：与得到相同的估计量和残差。

即，y对X1、X2的回归方程中，X2的参数估计量等价于y对X1回归的残差项对X2对X1回归的残差项进行回归得到的参数估计量，二者的残差也是相同的这一定理表明，多元回归模型中，回归参数β2体现了“排除”（partial out）授课：XXXX1影响后的“净”影响因此，β2也称作“偏回归系数”，体现了X2对y的净影响，称之为“偏影响”（partial effect）也正是由于回归参数β2体现了排除X1影响后的“净”影响，因此把X1称作“控制变量”也就是说，虽然实际经济环境中，我们几乎不能控制X1的变化但在多元回归模型中，β2已经把X1的影响排除掉了，因此β2理解为“当其他条件不变的情况下”，X2对y的边际影响对于如下结构关系：X1X2y如果回归模型，参数b1的估计量不会显著，因为将x2的影响排除后，x1对y不存在任何影响1.2.3 参数估计量的分布特征设真实的DGP为y = Xb0 + u其中，b0为真实的参数如果模型设定准确的话，即y = Xb + u我们来看参数估计量的统计特征对于模型错误设定的情况，请参见本章“模型的设定分析”部分1． 一致性设模型的参数为θ，估计量为如果，则称具有一致性。

一致性意味着随着样本量的增加，参数估计量可以无限接近真实参数，即估计量的分布为真实参数那一点也就是说，随着样本量的增加，我们可以对真实参数作出越来越精确的推断一致性是对参数估计量的最低要求如果估计误差与样本量没有关系，那么很难建立真实参数与参数估计量之间的关系 1.18由假定Rank(X)=K和大数定律，样本均值的概率极限等于总体均值，可得： 1.19又由Slustky定理，由此可得 1.202． 的无偏性的随机性来源于u的随机性，因此，将写为关于u的表达式授课：XXX 1.21即是随机向量u的线性组合如果X为确定性变量，则的期望为： 1.22因此，是b的线性无偏估计量但将X做为确定性变量过于简单大多数情况下，X与y一样，具有明显的随机特征假定2 u关于X的条件期望为0E[u|X]=0假定2也称作X具有严格外生性。

具有两个基本含义第一个含义是，u的无条件均值也为0这一特征可以通过迭代期望公式直接导出E(u|X) = 0 ” E(u) = E[E(u| X)] = 0 1.23第二个含义是，u与X以及X的任何函数正交，不相关 1.24Cov(g(X), u) = E{[g(X)-E(g(X))][u- E(u)]}= E[(X-E(X))u]=E{ [g(X)-E(g(X))]u }= E{ g(X)u –E[g(X)u] }= E[g(X)u]- E[g(X)]E(u) = 0当g(X)= X时，u与X正交，u与X不相关E(Xu| X)= XE(u| X) = 0, E(Xu) = E[E(Xu|X)] = E(X) E(u| X) = 0Cov(X, u) = E[(X-E(X))(u- E(u))]= E[(X-E(X))u]= E[Xu]- E(X)E(u) = 0的条件期望为： 1.25当然，的无条件期望为： 1.26因此，是b0的线性无偏估计量，具有无偏性。

与之相关的另外一个较弱的假定是，ut关于Xt的条件期望为0E[ut|Xt]=03． 的有效性假定3 随机误差项向量u是同方差、无序列相关的即协方差矩阵为：Var (u|X) = s 2I = s 2 1.27OLS估计量的方差矩阵为： 1.28其中，s 2 (X 'X)-1第i行第j列的元素表示第i个参数估计量和和第j个参数估计量的协方差当i=j时（即对角线上的元素），表示第i个（包括常数项）参数估计量的标准差授课：XXX高斯马尔科夫定理：在假定1~3成立的条件下，OLS估计量是最有效的线性无偏估计量即：设是OLS估计量，为其他无偏估计量，那么根据迭代期望公式，可以得到将线性回归模型中OLS估计量称之为最佳线性无偏估计量（BLUE）4． 方差来源的方差对于统计推断以及经济解释都是至关重要的方差越大，说明估计量越不精确，因此参数的置信区间就越大，假设检验也就越不准确假设关注变量x2，设DGP为，模型设定为。

根据FML定理， 其方差为：其中，表示x2对X1回归的残差平方和因此，方差也可以表述为： 1.29其中，SSE2、R22表示x2对X1回归的残差平方和与可决系数，表示x2的离差平方和因此，的方差来源于三部份：回归标准差σ02、解释变量之间的相关性、x2的波动回归标准差σ02体现了模型中噪音的成分，噪音越多（σ02越大），那么解释变量的影响就越难以判断，估计量的就越不准确σ02是一个总体概念，与样本无关但它是未知的，在后面的章节推导出其无偏估计量给定被解释变量y，要想降低σ2，那就需要将更多的成分从随机扰动项中提取出来，方法只有一个：加入新的解释变量但加入新的变量并不总是有效的，后面的章节还会详细地加以解释Ri2体现了xi与其他解释变量的线性相关程度相关程度越高，Ri2就越高，就越大当Ri2→1时，→∝这时，我们称之为多重共线性(multicollinearity)当然，如果部分解释变量之间存在多重共线性，不会影响其他的参数估计比如，在下面的模型中：yt = b0 + b1 x1t + b2 x2t+ b3 x3t + ut如果x2t与x3t高度相关，那么和会比较大。

但x2t与x3t的相关性对没有影响事实上，如果x1t、x2t都与x3t不相关，即R12→0，那么＝σ2/SST1，与x2t、x3t之间的相关性没有任何关系因此，如果模型关注的是x1t，那么就没有必要在乎x2t、x3t之间的多重共线性问题给定其他条件不变的情况下，xi的离差平方和越大，的方差越小提高xi的离差平方和的方法是增加样。