线性回归模型的扩展（计量经济学北京师范大学刘泽云）

第四讲 线性回归分析的扩展 Linear Regression Analysis: Extension,一、引言：放宽经典模型的假设 二、多重共线性 三、异方差性 四、序列相关 五、设定误差,一、引言：放宽经典模型的假设,引言：放宽经典模型的假设,经典正态线性回归模型（CNLRM）的假定 （一）关于模型的假定 回归模型对参数而言是线性的 模型是正确设定的 （二）关于解释变量的假定 解释变量X是确定性变量 若X是随机的，则误差项与X不相关 解释变量的取值有足够变异 解释变量之间不存在完全的线性关系,引言：放宽经典模型的假设,经典正态线性回归模型（CNLRM）的假定 （三）关于误差项的假定 对于给定的X，误差项均值为0 对于给定的X，误差项方差相等 对于给定的X，误差项之间不存在序列相关 误差项服从正态分布,引言：放宽经典模型的假设,假定3和4在联立方程模型中讨论 对假定5我们做简单讨论 假定7影响参数估计的无偏性，暂不讨论 假定10对于大样本数据不是必需的假定。 本讲主要考虑放宽了其余假定后面临的问题,引言：放宽经典模型的假设,微数缺测性 从理论上讲，样本容量n和解释变量数目k必须满足nk+2，才能进行OLS估计和假设检验。但事实上，即便n满足上述条件，但如果样本很小，那么虽然能够进行估计和检验，也很难通过t检验。,什么是多重共线性 多重共线性的影响 多重共线性的诊断 多重共线性的处理,二、多重共线性,什么是多重共线性,多重共线性（multicollinearity）：回归模型中的一些或全部解释变量之间存在一定程度的线性关系,什么是多重共线性,例题4.1 其他例题：p200,什么是多重共线性,图形表示：巴伦坦图,Y,X1,X2,Y,X1,X2,低度多重共线性,高度多重共线性,什么是多重共线性,产生多重共线性的原因 样本过小 模型设定有误：添加了过多的解释变量 由于样本过小，即便在总体中解释变量之间没有线性关系，也可能在获得的样本中观察到较强的线性关系,多重共线性的影响,存在完全线性关系时的OLS估计 无法得到OLS估计量 例题：p201-202,多重共线性的影响,存在多重共线性关系时的OLS估计 可以证明即便存在多重共线性，OLS估计量仍然是BLUE，但系数估计量的方差较大，从而不容易通过t检验，同时预测区间变宽，降低了预测精确度。,例题：p202-203,多重共线性的影响,影响程度的度量：方差膨胀因子（variance-inflation factor）,多重共线性的影响,例题4.2,多重共线性的诊断,简单诊断方法 R2高而单个系数的t值小，换言之，F检验显著，但显著的t值少 任意两个解释变量之间的相关系数较大，比如大于0.9 解释变量之间的偏相关系数较大 简单方法一般来说不很精确,多重共线性的诊断,运用回归分析进行诊断 逐步分析法：先引入经济意义明显，并且在统计上最显著的解释变量，然后逐步引入其他解释变量。如果新引入的解释变量使原有解释变量的系数估计值发生明显变化，或t统计量明显变小，则说明新引入的解释变量与原有解释变量之间存在多重共线性，可以去掉新引入的解释变量 辅助回归法：做每一个解释变量对其余解释变量的回归，得出相应的F统计值，如果在给定的显著性水平下F统计值是显著的，说明该解释变量与其他解释变量之间存在线性关系，可以去掉该解释变量（p207，p211）,多重共线性的诊断,运用一些指标进行诊断 方差膨胀因子：计算每个解释变量的方差膨胀因子VIF，一般认为如果VIF大于10，说明该变量与其他变量存在高度共线性 容许度（tolerance）：定义容许度TOL如下，一般认为如果TOL小于0.1，说明该变量与其他变量存在高度共线性 条件指数（condition index, CI）：一般认为，如果条件指数在10到30之间，存在较强的多重共线性，如果大于30，则存在严重的多重共线性,多重共线性的诊断,例题4.3（p218）,例题：p209-211,多重共线性的诊断,几点说明 多重共线性是一个程度问题而不是存在与否的问题 多重共线性是关于样本的一种特征 如果研究是为了估计斜率系数和预测，多重共线性不是一个严重的问题；但如果研究的主要目的是假设检验，则高度多重共线性的危害就很大,多重共线性的处理,剔除共线性变量中不太重要的解释变量 补充新数据 重新设定模型 练习题：p216-217，习题10.14-10.19,什么是异方差性 异方差性的影响 异方差性的诊断 异方差性的处理,三、异方差性,什么是异方差性,异方差性（heteroscedasticity）：回归模型误差项的方差不相同 同方差性（homoscedasticity）：回归模型误差项的方差不相同,什么是异方差性,同方差性,X,Y,概率密度,X：受教育年限 Y：工资,什么是异方差性,异方差性,X,Y,概率密度,X：收入 Y：消费支出,什么是异方差性,异方差性,X,Y,概率密度,X：时间 Y：打字错误,例题：p220-224,什么是异方差性,产生异方差性的原因,异方差性的影响,回归系数的OLS估计量虽然是无偏的、一致的，但不再是有效的 回归标准差的估计不再是无偏的 回归系数OLS估计量的方差估计不再是无偏的，因而t统计量不再服从t分布，F统计量不再服从F分布，从而无法进行区间估计和假设检验 无法根据回归结果进行预测,异方差性的诊断,图解法 布罗施-培甘检验（Breusch-Pagan test） 怀特检验（White test） 帕克检验（Park test） Glesjer test 戈德菲尔德-匡特检验（Goldfeld-Quandt test ）,异方差性的诊断,图解法 在同方差假定下作回归分析，用残差项平方与解释变量做散点图,X,异方差性的诊断,图解法：简便处理 用残差项平方与因变量拟合值做散点图,异方差性的诊断,例题4.4（p222） 1988年美国公司销售额与研发支出的关系,异方差性的诊断,例题4.4,异方差性的诊断,布劳殊-培干检验（Breusch-Pagan test）,异方差性的诊断,例题4.4 ：BP Test,异方差性的诊断,怀特检验（White test）,异方差性的诊断,怀特检验的特例,异方差性的诊断,例题4.4 ：White Test,异方差性的诊断,在EViews等计量经济学软件中，直接提供White异方差检验的结果，不需要手工计算。,异方差性的处理,加权最小二乘法（Weighted Least Square，WLS） WLS是广义最小二乘估计（Generalize Least Square, GLS）方法中的一种 通过WLS可以得到BLUE 重新设定模型 怀特一致协方差矩阵估计（White Heteroskedasticity-Consistence Covariance Matrix Estimation ） 得到无偏一致估计量（在大样本情形下适用）,异方差性的处理,加权最小二乘估计：误差项方差已知,异方差性的处理,加权最小二乘估计：误差项方差未知,异方差性的处理,例题4.4：加权最小二乘估计（p233） 1988年美国公司销售额与研发支出的关系,异方差性的处理,可行的广义最小二乘估计 在一般情况下，我们并不知道异方差的具体形式，需要对异方差的函数形式做出估计，然后再进行加权最小二乘估计，这种方法属于可行的广义最小二乘估计（Feasible Generalized Least Square, FGLS）（伍德里奇，2000；赵国庆，2001）,异方差性的处理,可行的广义最小二乘估计,异方差性的处理,例题4.5 1996年中国各省市城镇居民人均收入与人均消费的关系,异方差性的处理,重新设定模型,例题：p235,异方差性的处理,例题4.5 1996年中国各省市城镇居民人均收入与人均消费的关系,异方差性的处理,怀特一致协方差矩阵估计 如果存在异方差，则对于通过OLS得到的估计量不能进行t检验和F检验。EViews等软件提供怀特一致协方差矩阵估计量（White Heteroskedasticity-Consistence Covariance Matrix Estimator），这种方法提供大样本情形下回归标准差和回归系数的一致估计量，可以进行t检验和F检验。 例题：p236,异方差性的处理,例题4.6：怀特一致协方差矩阵估计 1998年中国各省市城镇居民人均可支配收入与通讯交通支出,什么是序列相关 序列相关的影响 序列相关的诊断 序列相关的处理,四、序列相关,什么是序列相关,序列相关（serial correlation）：回归模型的误差项之间不完全独立，存在一定程度的相关。也称自相关（autocorrelation） 序列相关经常出现在时间序列数据中，但在横截面数据中也会出现,什么是序列相关,序列相关图示,t,ut,无序列相关,什么是序列相关,序列相关图示,T,ut,ut-1,ut,T,ut,ut,ut-1,正相关,负相关,什么是序列相关,产生序列相关的原因,序列相关的影响,回归系数的OLS估计量虽然是无偏的、一致的，但不再是有效的 回归系数OLS估计量的方差估计不再是无偏的，一般而言会低估实际的方差，从而使得系数的显著性检验容易被通过，而实际上该系数是不显著的 t检验和F检验是不准确的,序列相关的影响,序列相关对方差估计的影响：图示,总体回归曲线,样本回归曲线,Xt,Yt,序列相关的影响,序列相关对方差估计的影响（1）,序列相关的影响,序列相关对方差估计的影响（2）,序列相关的影响,序列相关对方差估计的影响（3）,序列相关的影响,序列相关对方差估计的影响（4）,序列相关的影响,序列相关对方差估计的影响（5）,序列相关的诊断,图解法：在无序列相关的假定下作回归分析，然后用残差项与时间变量做散点图，或者用本期的残差与上一期的残差做散点图（p248） 游程检验（runs test，p249-250） 德宾-沃森检验,序列相关的诊断,例题4.7：图解法 1968-1987年美国居民对进口商品的消费支出与可支配收入的关系（数据在p116）,序列相关的诊断,德宾-沃森检验（Durbin-Watson test）,序列相关的诊断,德宾-沃森检验（Durbin-Watson test）,序列相关的诊断,德宾-沃森检验（Durbin-Watson test） 根据OLS估计的残差计算出来的d统计量服从特定的分布，可根据样本容量n和解释变量数目k查表并判断是否存在序列相关,序列相关的诊断,德宾-沃森检验的步骤 对原方程进行OLS估计得到残差 根据d统计量的公式计算d值 根据样本容量和解释变量数目查找d的下临界值和上临界值 根据决策规则判定是否存在一阶自相关 统计软件会自动计算d值，因此我们需要做的仅是后两步,序列相关的诊断,例题4.7：德宾-沃森检验 进口商品消费支出（IMPORT）与可支配收入（PDI）,例题：p252-253,序列相关的诊断,德宾-沃森检验的适用条件 回归模型中有常数项 误差项为一阶自相关 不含有因变量的滞后项（不是自回归模型）,序列相关的诊断,包含滞后变量（自回归模型）的序列相关诊断 对于此类模型，DW检验是无效的，为此，Durbin提出可以计算h统计量来进行序列相关诊断（平狄克、鲁宾费尔德，1998）,序列相关的处理,出现序列相关的原因有很多，我们仅仅考虑最简单的情况，即存在一阶自相关时对于序列相关问题的处理,序列相关的处理,基本思想,序列相关的处理,一阶差分法,注意：使用一阶差分法时不含截距项,序列相关的处理,例题4.7：一阶差分法,序列相关的处理,根据d统计量估计自相