普通最小二乘法.docx

普通最小二乘法(OLS)普通最小二乘法(Ordinary Least Square，简称OLS),是应用最 多的参数估计方法 ，也是从最小二乘原理出发的其他估计方法的基 础，是必须熟练掌握的一种方法在已经获得样本观测值y ,x (i=l,2,…,n)ii的情况下(见图 2.2.l 中的散点)，假如模型(2.2.1)的参数估计量已经求得到，为以和0E，并且是最合理的参数估计量，那么直线1方程(见图 2.2.1 中的直线)$ = pA +6 x i=1,2,…,n (2.2.2)i 0 1 i应该能够最好地拟合样本数据其中$为被解释变量的估计值，它是i由参数估计量和解释变量的观测值计算得到的那么，被解释变量的 估计值与观测值应该在总体上最为接近，判断的标准是二者之差的平 方和最小Q 二工(y - P - P x )2 二工 u 2 二 Q (P , P )i 0 1 i i 0 1Q =工U2 二》(y -y )二》\ -p -p x)= minQ(P ,P )po=p0, p1=p] i i i i 0 1 i 0 1(2.2.3)为什么用平方和？因为二者之差可正可负，简单求和可能将很大 的误差抵消掉，只有平方和才能反映二者在总体上的接近程度。

这就 是最小二乘原则那么，就可以从最小二乘原则和样本观测值出发 求得参数估计量由于n 人Q = (y - y 户ii1n 人 人=乙(y —(卩 + 卩 x ))2i 0 1 i1是PA、6的二次函数并且非负，所以其极小值总是存在的所以Q01对6、6的一阶偏导数为0时，Q达到最小即01a q二 0 a 00 0 0" 0, 0 厂『1(2.2.4)工I 二0a01 10 0」0, 0 "容易推得特征方程：为(y -B -Bx)=》(y — y )=工i 0 1 i i ii=1nx e = 0ii乙 x (y - 0 - 0 x )=乙i i 0 1 ii=1解得：工y xiiA An 0 + 0 乙 x0 1 iAA=0 \ X + 0 \0 i 1x2i2.2.5)Zn n nX y —(乙 X )(乙 y )乙(X — X)(yi i i i i0 = —i=1 i=1 i=1 = -4=12.2.6)乙(X — X)2ii=11 n n 2n 乙 x 2 -(乙 X )iii=1 i=10 = y-0X01于是得到了符合最小二乘原则的参数估计量为减少计算工作量，许多教科书介绍了采用样本值的离差形式 的参数估计量的计算公式。

由于现在计量经济学计算机软件被普遍采 用，计算工作量已经不是什么问题但离差形式的计算公式在其他方 面也有应用，故在此写出有关公式，不作详细说明记y =工 y.nix = x - xiiy = y ― yii2.2.6)的参数估计量可以写成厶x yii(2.2.7)p == -t=^-1n乙x2it=1八p = y-px01至此，完成了模型估计的第一项任务下面进行模型估计的第二项任务，即求随机误差项方差的估计量记e = u = y - y为第i个样i i i i 本观测点的残差 ，即被解释变量的估计值与观测值之差则随机误差项方差的估计量为y e 2F 2 = - (228)u n - 2在关于^2的无偏性的证明中，将给出(2.2.8)的推导过程，有 u兴趣的读者可以参考有关资料在结束普通最小二乘估计的时候，需要交代一个重要的概念，即“估计量”和“估计值”的区别由(2.2.6)给出的参数估计结果是由一个具体样本资料计算出来的，它是一个“估计值”，或者“点估计”是参数估计量M和pA的一个具体数值；但从另一个角度，仅仅 01把（226）看成H和6的一个表达式，那么，则是y的函数，而y是0 1 i i随机变量，所以pA和6也是随机变量，在这个角度上，称之为“估01计量”在本章后续内容中，有时把3"和6作为随机变量，有时又把013" 和 3" 作为确定的数值，道理就在于此。