计量经济学第三章-一元线性回归模型

计量经济学 Econometrics,第三章 一元线性回归模型,2,内容：一元线性回归的基本概念 参数估计 统计检验 预测,第一节 基本概念,（1）确定性关系或函数关系：研究的是确定现象非随机变量间的关系。 （2）统计依赖或相关关系：研究的是非确定现象随机变量间的关系。,一、变量间的关系及回归分析的基本概念,1、变量间的关系 经济变量之间的关系，大体可分为两类：,对变量间统计依赖关系的考察主要是通过相关分析(correlation analysis)或回归分析(regression analysis)来完成的,例如： 函数关系：,统计依赖关系/统计相关关系：,回归分析(regression analysis)是研究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论。 其用意：在于通过后者的已知或设定值，去估计和（或）预测前者的（总体）均值。 这里：前一个变量被称为被解释变量（Explained Variable）或应变量（Dependent Variable），后一个（些）变量被称为解释变量（Explanatory Variable）或自变量（Independent Variable）。,2、回归分析的基本概念,回归分析构成计量经济学的方法论基础，其主要内容包括： （1）根据样本观察值对经济计量模型参数进行估计，求得回归方程； （2）对回归方程、参数估计值进行显著性检验； （3）利用回归方程进行分析、评价及预测。,由于变量间关系的随机性，回归分析关心的是根据解释变量的已知或给定值，考察被解释变量的总体均值，即当解释变量取某个确定值时，与之统计相关的被解释变量所有可能出现的对应值的平均值。这恰好是条件期望的概念。,二、总体回归函数,概念：,在给定解释变量Xi条件下被解释变量Yi的期望轨迹称为总体回归线（population regression line），或更一般地称为总体回归曲线（population regression curve）。,称为（双变量）总体回归函数（population regression function, PRF）。,相应的函数：,回归函数（PRF）说明被解释变量Y的平均状态（总体条件期望）随解释变量X变化的规律。,含义：,函数形式： 可以是线性或非线性的。 为什么线性形式这么重要？Taylor展开。,将粮食产量看成是播种面积的线性函数时:,为一线性函数。其中，0，1是未知参数，称为回归系数（regression coefficients）。,注意：线性回归的含义 指的是对参数是线性的 诸如此类，都是线性回归的范畴。 除此之外，很多模型不能塑造成线性回归模型，就需要走入非线性回归模型的领域 对大部分应用来说，选择一个能转化成线性回归的模型就足够了。,三、随机扰动项,总体回归函数说明在相同的播种面积Xi下，农户平均的粮食产量。 但对某个别的农户，其粮食产量可能与该平均水平有偏差。,称i为观察值Yi围绕它的期望值E(Y|Xi)的随机干扰项（stochastic disturbance）或随机误差项（stochastic error），是一个不可观测的随机变量。,记,个别农户的粮食产出为：,（*）式称为总体回归函数（方程）PRF的随机设定形式。表明被解释变量除了受解释变量的系统性影响外，还受其他因素的随机性影响。,（1）该收入水平下所有家庭的平均收成E(Y|Xi)，称为系统性（systematic）或确定性（deterministic)部分。 （2）其他随机或非确定性（nonsystematic)部分i。,即，给定播种面积Xi ,个别农户的收成可表示为两部分之和:,(*),由于方程中引入了随机项，称为计量经济学模型，也称为总体回归模型。,产生并设计随机误差项的主要原因：,1）在解释变量中被忽略的因素的影响； 2）变量观测值的观测误差的影响； 3）模型关系的设定误差的影响；,四、样本回归函数（SRF）,问题：能否从一次抽样中获得总体的近似的信息吗？如果可以，如何从抽样中获得总体的近似信息？,问：能否从该样本估计总体回归函数PRF？,回答：能,总体的信息往往无法掌握，现实的情况只能是在一次观测中得到总体的一个样本。,该样本的散点图（scatter diagram)：,样本散点图近似于一条直线，画一条直线以尽好地拟合该散点图，由于样本取自总体，可以该线近似地代表总体回归线。该线称为样本回归线（sample regression lines）。,记样本回归线的函数形式为：,称为样本回归函数（sample regression function，SRF）。,这里将样本回归线看成总体回归线的近似替代,则,注意：,样本回归函数的随机形式/样本回归模型：,同样地，样本回归函数也有如下的随机形式：,由于方程中引入了随机项，成为计量经济模型，因此也称为样本回归模型（sample regression model）。,每次抽样都能获得一组样本，就可以拟合一条样本回归线，因此，样本回归线是随抽样波动而变化的，可以有许多条，这就决定了SRF不唯一。,回归分析的主要目的：根据样本回归函数SRF，估计总体回归函数PRF。,注意：PRF可能永远无法知道。,即，根据,估计,第二节 参数估计,一、线性回归的经典假设,假设2(Strict exogeneity)：严格外生性,假设3(No Multicollinearity)：无多重共线性,假设1(Linearity)：总体模型是线性的,假设4(Spherical Error Variance)：球形方差,这四个假设称为高斯-马尔科夫假设。,假设5(Normality of the Error Term)：正态假设,这五个假设称为线性回归经典假设。,二、假设特例,假设2：,假设3：（同方差性）,假设1：X非随机，总体模型是线性， Y1,Y2Yn为SRS,同方差示意图,条件概率密度函数值,异方差示意图,条件概率密度函数值,假设4：（ 无序列相关性）,假设5：（解释变量与随机干扰项不相关）,假设6：（正态分布）,三、OLS,1. 思想 给定一组样本观测值（Xi, Yi）（i=1,2,n）要求样本回归函数尽可能好地拟合这组值. 选哪条线拟合？,理想的估计方法应使残差ei越小越好 普通最小二乘法（Ordinary least squares, OLS）给出的判断标准是：二者之差的平方和 最小。,2. 最小二乘估计 利用微分的方法，求关于的偏导数, 并令其为零, 得,常用结论,例：在家庭可支配收入-消费支出中，对于所抽出的一组样本数，参数估计的计算可通过下面的表进行。,因此，由该样本估计的回归方程为：,当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。 由于参数的估计结果是通过最小二乘法得到的，故称为普通最小二乘估计量（ordinary least squares estimators，OLSE）。,四、OLSE及其性质,高斯马尔可夫定理(Gauss-Markov theorem) 在高斯-马尔可夫假定下，最小二乘估计量是具有最小方差的线性无偏估计量（或称最佳线性无偏估计量, BLUE）。,对于一元线性回归,证：,易知,故,同样地，容易得出,（2）证明最小方差性,其中，ci=ki+di，di为不全为零的常数 则容易证明,故，OLSE是BLUE,五、参数估计量的概率分布及随机干扰项方差的估计,2、随机误差项的方差2的估计,由于随机项i不可观测，只能从i的估计残差ei出发，对总体方差进行估计。,2又称为总体方差。,可以用 作为2的估计,它是关于2的无偏估计量。试证明之。,一、拟合优度检验 二、变量的显著性检验 三、参数的区间估计,第三节 统计检验和区间估计,回归分析是要通过样本所估计的参数来代替总体的真实参数，或者说是用样本回归线代替总体回归线。,尽管从统计性质上已知，如果有足够多的重复 抽样，参数的估计值的期望（均值）就等于其总体的参数真值，但在一次抽样中，估计值不一定就等于该真值。 那么，在一次抽样中，参数的估计值与真值的差异有多大，是否显著，这就需要进一步进行统计检验。 主要包括拟合优度检验、变量的显著性检验。,一、拟合优度检验,拟合优度检验：对样本回归直线与样本观测值之间拟合程度的检验。 度量拟合优度的指标：判定系数（可决系数）R2,问题：采用普通最小二乘估计方法，已经保证了模型最好地拟合了样本观测值，为什么还要检验拟合程度？,1、总离差平方和的分解,已知由一组样本观测值（Xi,Yi），i=1,2,n得到如下样本回归直线,如果Yi=i 即实际观测值落在样本回归“线”上，则拟合最好。 此时可认为，“离差”全部来自回归线，而与“残差”无关。,对于所有样本点，则需考虑这些点与样本均值离差的平方和，可证明（请尝试）：,记,总体平方和（Total Sum of Squares）,回归平方和（Explained Sum of Squares）,残差平方和（Residual Sum of Squares ）,TSS=ESS+RSS,Y的观测值围绕其均值的总离差(total variation)可分解为两部分：一部分来自回归线(ESS)，另一部分则来自残差(RSS)。,在给定样本中，TSS不变， 如果实际观测点离样本回归线越近，则ESS在TSS中占的比重越大。 拟合优度：回归平方和ESS/Y的总离差TSS,2、可决系数R2统计量,称 R2 为（样本）可决系数/判定系数（coefficient of determination)。,可决系数的取值范围：0，1 R2越接近1，说明实际观测点离样本线越近，拟合优度越高。,在收入-消费支出例中，,注：可决系数是一个非负的统计量。它也是随着抽样的不同而不同。,二、变量的显著性检验,回归分析是要判断解释变量X是否是被解释变量Y的一个显著性的影响因素。 在一元线性模型中，就是要判断X是否对Y具有显著的线性性影响。这就需要进行变量的显著性检验。,变量的显著性检验所应用的方法是数理统计学中的假设检验。 计量经计学中，主要是针对变量的参数真值是否为零来进行显著性检验的。,检验步骤：,（1）对总体参数提出假设 H0： 1=0， H1：10,（2）以原假设H0构造t统计量，并由样本计算其值,（3）给定显著性水平，查t分布表，得临界值t /2(n-2),(4) 比较，判断 若 |t| t /2(n-2)，则拒绝H0 ； 若 |t| t /2(n-2)，则不能拒绝H0 ；,对于一元线性回归方程中的0，可构造如下t统计量进行显著性检验：,在上述收入-消费支出例中，首先计算2的估计值,t统计量的计算结果分别为：,给定显著性水平=0.05，查t分布表得临界值 t 0.05/2(8)=2.306 |t1|2.306，说明家庭可支配收入在95%的置信度下显著，即是消费支出的主要解释变量； |t2|2.306,表明在95%的置信度下，无法拒绝截距项为零的假设。,假设检验可以通过一次抽样的结果检验总体参数可能的假设值的范围（如是否为零），但它并没有指出在一次抽样中样本参数值到底离总体参数的真值有多“近”。 要判断样本参数的估计值在多大程度上可以“近似”地替代总体参数的真值，往往需要通过构造一个以样本参数的估计值为中心的“区间”，来考察它以多大的可能性（概率）包含着真实的参数值。这种方法就是参数检验的区间估计。,三、参数的区间估计,为什么要做区间估计,OLSE是对总体回归参数的点估计量，是利用部分的样本信息对总体未知信息做推断。由于抽样的随机性，估计值不会等于参数值。 考虑用一个区间，“大概率”的将参数值包含其中，以此达到对参数的了解。,59,真实值存在、未知,样本估计量,区间上限,区间下限,区间估计的意图1：刻画点估计量和参数值的误差。,统计学对真理的探究,区间估计的意图2：了解真实