计量经济学-元线性回归模型的统计检验

§2.3 一元线性回归模型的统计检验 (教材P43),一、拟合优度检验 二、变量的显著性检验 三、参数的置信区间,说 明,一元线性回归模型是最简单的回归分析模型。 回归分析就是要根据样本数据对总体回归模型的参数进行估计，或者说是用样本回归线近似代替总体回归线。 尽管从参数估计量的统计性质我们已经知道，如果进行多次抽样，那么参数估计量的期望值（均值）就等于总体参数的真值，但是依据一次抽样所得到的参数估计值不一定等于该参数的真值。,那么，在一次抽样中，参数的估计值与真值的差异有多大？差异是否显著？ 这就需要进一步进行统计检验。 一元线性回归的统计检验主要包括： 拟合优度检验； 变量的显著性检验； 此外, 教材的这一节还包括回归参数的置信区间。,一、拟合优度检验（ Testing the Simulation Level ） （见教材P43）,拟合优度检验：对样本回归线与样本观测值之间拟合程度的检验。 度量拟合优度的指标：判定系数（可决系数）R2 问题：采用普通最小二乘法，已经保证了模型最好地拟合了样本观测值，为什么还要检验拟合程度？ 答案：普通最小二乘法所保证的最好拟合，是就同一问题而言；而拟合优度检验结果所表示的优劣主要用于不同问题之间的比较。 我们来看两个例子。,例：,关于左图：,关于右图：,1、总离差平方和、回归平方和及残差平方和(教材P43),假定由一组样本观测值（Xi,Yi），i=1,2,n，已经得到如下样本回归直线,那么，如何构造表征拟合程度的统计量R2 ？这与下面的一组概念有关。,极端情形：如果 Yi=i ，即实际观测值落在样本回归“线”上，则拟合最好。这时可以认为，“离差”全部可以由样本回归线来解释，而与“残差”无关。,其中：,对于所有样本点，则需考虑这些点与样本均值离差的平方和：,记,总体平方和（Total Sum of Squares）,回归平方和（Explained Sum of Squares）,残差平方和（Residual Sum of Squares ）,总离差平方和TSS（Total Sum of Squares）：也叫总变差，反映被解释变量样本观测值总体离差的大小； 回归平方和ESS（Explained Sum of Squares）：直译为可解释的平方和，反映由模型中解释变量所解释的那部分离差的大小； 残差平方和RSS（Residual Sum of Squares）：反映被解释变量样本观测值与估计值偏离的大小，也是模型中解释变量未能解释的那部分离差的大小。,TSS = ESS + RSS,可以证明（根据正规方程组）：,也即,结论：被解释变量Y的观测值围绕其均值的总变差(total variation)可以分解为两部分：一部分来自回归线(ESS)，另一部分则来自随机因素(RSS)。,对于给定样本，总离差平方和TSS不变；如果样本回归线离实际观测点越近，则回归平方和ESS在总离差平方和TSS中所占的比重越大。 因此，可以定义 拟合优度：回归平方和ESS/总离差平方和TSS,2、可决系数R2,称 R2 为可决系数（coefficient of determination)或判定系数。,显然，可决系数R2的取值范围：0，1；R2越接近1，说明样本回归线离实际观测点越近，拟合优度越高。,例 在第三版例2.3.1（P37-38）的例子中：,结果表明，在Y的总变差中，有99.35%可以由X做出解释。换句话说，可支配收入可以解释消费支出总变差的99.35 %。回归方程对样本观测值的拟合效果好。,这里用到了样本回归函数的离差形式，见P34（2.3.6）式。,第三版例2.3.1（P37-38）的Eviews软件运行结果：,联系：在一元线性回归中，可决系数R2是简单相关系数r的平方。,18,补充：可决系数与简单相关系数的关系,区别： 【庞皓P43】,19,补充：可决系数与简单相关系数的关系,二、变量的显著性检验（教材P46）,回归分析是要判断解释变量X是否是被解释变量Y的一个显著的影响因素。 在一元线性回归模型中，就是要判断X对Y是否具有显著的线性影响。 这就需要进行变量的显著性检验。或者说，需要对回归参数1的真值是否为零进行显著性检验。 变量的显著性检验所应用的方法是数理统计学中的假设检验。,1.关于假设检验,所谓假设检验，就是事先对总体参数或总体分布形式作出一个假设（原假设），然后利用样本信息来判断原假设是否合理，即判断样本信息与原假设是否显著地有差异，从而决定是否拒绝原假设。 假设检验的程序：先根据实际问题的要求提出一个论断，称为统计假设，记为H0 ；然后根据样本的有关信息，对H0的真伪进行判断，作出拒绝H0或接受H0的决策。 （教材P46）,假设检验的基本思想是概率性质的反证法。也就是说，为了检验原假设H0是否正确，先假定这个假设是正确的，看由此能推出什么结果。如果导致一个不合理的结果，则表明“假设H0为正确”是错误的，即原假设H0不正确，因此要拒绝原假设H0。如果没有导致一个不合理现象的出现，则不能认为原假设H0不正确，因此不能拒绝原假设H0 。,概率性质的反证法的依据是小概率事件原理。该原理认为“小概率事件在一次试验中几乎是不可能发生的”。,换句话说，一个几乎不可能发生的小概率事件（“检验统计量的样本值落入拒绝域”）在一次试验中就发生了，这违背了小概率事件原理，也就意味着导致了一个不合理的结果。,显著性检验的步骤： (),（1）提出原假设H0和备择假设H1； （2）计算检验统计量的样本值； （3）确定临界值和拒绝域； （4）下结论：是否拒绝H0 。,2、变量的显著性检验,另外，可以证明（参见周纪芗回归分析P14）：,（1）,（2）,对于一元线性回归模型，我们已经知道,我们先来构造用于变量显著性检验的检验统计量。 (对教材P47有补充),于是，可以构造如下统计量：,该统计量即为用于变量X的显著性检验的 t 统计量。,化简，得,变量显著性检验的步骤： (教材P47，),（1）对总体参数提出假设： H0： 1=0， H1：10,（2）在原假设H0成立的假定下计算t统计量的样本值：,（3）给定显著性水平，查t分布表得临界值t/2(n-2),(4) 比较并下结论： 若|t|t/2(n-2)，则拒绝H0 ，认为变量X对Y的线性影响显著；若|t|t/2(n-2)，则不能拒绝H0 ，认为变量X对Y的线性影响不显著。,类似地，对于一元线性回归模型中的0，也可构造如下t统计量进行显著性检验（但一般不作要求）：,例 在P37-38例2.3.1的可支配收入消费支出例子中：,注意教材P48的这个简捷计算公式！,t统计量的计算结果分别为：,给定显著性水平=0.05，查t分布表得临界值 t 0.05/2(8)=2.306 由于|t1|2.306，说明家庭可支配收入在95%的置信度下显著，是消费支出的主要解释变量； 由于|t0|2.306,表明在95%的置信度下，拒绝截距项为零的假设。,（书上有错）,第三版P37-38例2.3.1的Eviews软件运行结果：,三、参数的置信区间,假设检验可以通过一次抽样的结果检验总体参数的可能取值范围（最常见的假设：“总体参数值为零”），但它并没有指出在一次抽样中所得到的参数估计值到底离总体参数的真值有多“近”(比如,检验结果是参数显著不为0,那么参数到底在什么范围取值?仍然未知)。,要判断总体参数的样本估计值到底离总体参数的真值有多“近” ，需要构造一个以参数的样本估计值为中心的“区间”，并考察这个区间以多大的可能性（概率）包含着真实的参数值。这就是参数的区间估计。（注意：教材P48的这一段话有很多问题）,这样的一个区间，称之为置信区间（confidence interval）； 1-称为置信系数或置信水平（confidence coefficient）， 称为显著性水平（level of significance）；置信区间的端点称为置信限（confidence limit）或临界值（critical values）。,一元线性回归模型中j (j=0,1）的置信区间: （教材P49）,在变量的显著性检验中已经知道：,如果给定置信水平（1-），从t分布表中查得自由度为(n-2)的临界值t/2 ，那么t值处在(-t/2, t/2)的概率是(1- )，即：,即,于是，在(1-)的置信水平下, j的置信区间为,例 在P37例2.3.1的可支配收入消费支出例子中，如果给定=0.01，查表得：,由于,于是，1、0的置信区间分别为： 1 ：（0.670-3.355×0.019，0.670+3.355×0.019 ）=（0.6056，0.7344) ； 0 ：（142.40-3.355×44.45 ，142.40+3.355×44.45 ）=（-6.719，291.52）,由于置信区间一定程度地给出了参数的样本估计值与参数真值的“接近”程度，因此置信区间越小越好。 那么，在保持置信水平不变的情况下，如何才能缩小置信区间？（提示：对照j的置信区间的表达式来思考！教材P49(2.4.7)式） （1）增大样本容量n。因为在同样的置信水平（1-）下，n越大，t分布表中的临界值t/2 (n-2)越小；同时，增大样本容量，还可使参数估计量的标准差减小；,讨 论,（2）提高模型的拟合优度。因为参数估计量的标准差与残差平方和呈正比，模型拟合优度越高，残差平方和就越小，从而参数估计量的标准差越小。 （3）提高样本观测值的分散度。因为参数估计量的标准差与样本观测值的分散度呈反比，样本观测值的分散度越大，参数估计量的标准差越小，从而置信区间越小。（补充，见P79）,