元线性回归模型的参数估计.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,2.3 一元线性回归模型的参数估计,一、参数的普通最小二乘估计（OLS）,二、参数估计的最大或然法(ML),三、最小二乘估计量的性质,四、参数估计量的概率分布及随机干,扰项方差的估计,二、参数的普通最小二乘估计（OLS）,给定一组样本观测值（X,i,Y,i,）（i=1,2,n）要求样本回归函数尽可能好地拟合这组值普通最小二乘法,（,Ordinary least squares,OLS,）给出的判断标准是：二者之差的平方和最小方程组（,*,）称为,正规方程组,（normal equations）,记,上述参数估计量可以写成：,称为OLS估计量的,离差形式,（,deviation form,）由于参数的估计结果是通过最小二乘法得到 的，故称为,普通,最小二乘估计量,（ordinary least squares estimators）,三、参数估计的最大或然法(ML),最大或然法,(,Maximum Likelihood,简称,ML),，也称,最大似然法,，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。

基本原理,：,对于,最大或然法,，当从模型总体随机抽取n个样本观测值后，最合理的参数估计量应该使得从模型中抽取该n个样本观测值的概率最大在满足基本假设条件下，对一元线性回归模型：,随机抽取一组样本观测值（X,i,Y,i,）（i=1,2,n）那么Y,i,服从如下的正态分布：,于是，Y的概率函数为,（i=1,2,n）,假如模型的参数估计量已经求得，为,因为Y,i,是相互独立的，所以的所有样本观测值的联合概率，也即,或然函数(likelihood function),为：,将该或然函数极大化，即可求得到模型参数的极大或然估计量由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下：,解得模型的参数估计量为：,可见，在满足一系列基本假设的情况下，模型结构参数的,最大或然估计量,与,普通最小二乘估计量,是相同的例,：,在上述家庭,可支配收入-消费支出,例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表进行因此，由该样本估计的回归方程为：,0.670,4974750,1583-0.6702150=142.4,142.4+0.670,x,i,四、最小二乘估计量的性质,当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。

一个用于考察总体的估计量，可从如下几个方面考察其优劣性：,（,1,）线性性,，即它是否是另一随机变量的线性函数；,（2）无偏性,，即它的均值或期望值是否等于总体的真实值；,（3）有效性,，即它是否在所有线性无偏估计量中具有最小方差拥有这类性质的估计量称为,最佳线性无偏估计量,（best liner unbiased estimator,BLUE）高斯马尔可夫定理(Gauss-Markov theorem),在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量证：,易知,故,同样地，容易得出,（2）证明最小方差性,其中，,c,i,=,k,i,+,d,i,，,d,i,为不全为零的常数,则容易证明,普通最小二乘估计量,（,ordinary least Squares Estimators,）称为,最佳线性无偏估计量,（best linear unbiased estimator,BLUE,）,五、参数估计量的概率分布及随机干扰项方差的估计,2、随机误差项,的方差,2,的估计,2,又称为,总体方差,由于随机项,i,不可观测，只能从,i,的估计残差,e,i,出发，对总体方差进行估计。

可以证明,，,2,的,最小二乘估计量,为,它是关于,2,的无偏估计量。