中南大学计量经济学课件-第三章

第三章 经典单方程计量经济学模型 :多元线性回归模型,1.多元线性单方程计量经济学模型的理论基础 和参数估计 2.多元线性单方程计量经济学模型的统计检验,多元线性回归模型 Introduction to multiple Regression Analysis,1.本章介绍多元线性回归模型。 1)主要内容包括多元线性回归模型的假定条件; 2)最小二乘估计法; 3)评价模型拟合优度的多重确定系数、调整的多重确定系数; 4)对模型回归显著性的F检验，对单个回归参数显著性的t检验以及偏相关、复相关概念。 本章重点掌握的知识是模型的假定条件，用矩阵形式描述最小二乘法估计公式，F检验、t检验的原理与过程，在实际建模过程应该注意的一些问题。学会使用EViews处理多元线性回归模型。,§3.1 多元线性回归模型及其假定条件 §3.2 多元线性回归模型的参数估计 §3.3 多元线性回归模型的统计检验 §3.4 多元线性回归模型的预测,§3.1 多元线性回归模型及其假定条件,现实生活中引起被解释变量变化的因素并非仅只一个解释变量，可能有很多个解释变量。 例如，产出往往受各种投入要素资本、劳动、技术等的影响；销售额往往受价格和公司对广告费的投入的影响等。 所以多元线性模型解释变量个数 2更为常见,1、模型的建立,前一章介绍了一元线性回归模型的建立、估计、检验与预测。在实际经济问题中，有时一个变量不是只受一个而是受多个解释变量影响。这时就需要建立多元回归模型进行研究。假定变量yt与k 个变量xjt, j = 1, , k 1，存在线性关系。多元线性回归模型表示为：,其中yt是被解释变量（因变量），xjt 是解释变量（自变量），ut是随机误差项，i, i = 0, 1, , k - 1是回归参数（通常未知）。这说明xjt, j = 1, , k, 是yt的重要解释变量。 ut代表众多影响yt变化的微小因素。,即形式,矩阵形式,2、多元线性回归模型的基本假设,假定 解释变量与误差项相互独立，即,E(X 'u) = 0,假定 解释变量之间线性无关。,rk(X 'X) = rk(X) = k .,其中rk()表示矩阵的秩。,假定 解释变量是非随机的，且当T 时,T1 x 'x Q,假定(5) 模型设定无误,§3.2 多元线性回归模型的参数估计,1. 普通最小二乘法(OLS) 最小二乘 法(OLS)的原理是通过求残差（误差项的估计值）平方和最小确定回归参数估计值。这是求极值问题。用Q表示残差平方和，求其最小值条件下的回归参数的估计值。,得到下列方程组,求参数估计值的实质是求一个k+1元方程组,正规方程,变成矩阵形式,最小二乘法的矩阵表示,正规方程的结构,Y 被解释变量观测值 n x 1 X 解释变量观测值（含虚拟变量n x (k+1) ） XX 设计矩阵（实对称(k+1) x (k+1)矩阵 ） XY 正规方程右端 (k+1) x 1 回归系数矩阵 (k+1) x 1 高斯乘数矩阵， 设计矩阵的逆 残差向量（ n x 1 ） 被解释变量的拟合（预测）向量 n x 1,2.最小二乘估计量的性质,线性（估计量都是被解释变量观测值的线性组合） 无偏性（估计量的数学期望=被估计的真值） 有效性（估计量的方差是所有线性无偏估计中最小的）,1) 线性,因为X的元素是非随机的，(X X) -1X是一个常数矩阵，由上式知,是Y的线性组合，为线性估计量。具有线性特性,2) 无偏特性,3) 有效性,具有最小方差特性。,随机误差项的方差 的估计量,M = M ' M2=M'M = M ' 利用上述性质，残差平方和,',e' e = (M u)' (M u) = u 'M ' M u = u 'M u = u ' I - X (X ' X )-1 X ' u,E(e' e) = E tru ' (I - X (X 'X )-1 X ' ) u = tr( I - X (X 'X )-1 X ' ) E(u u' ) =(n-K-1),3. 样本容量问题,样本是一个重要的实际问题，模型依赖于实际样本。 获取样本需要成本，企图通过样本容量的确定减轻收集数据的困难。 最小样本容量：满足基本要求的样本容量,样本容量问题,(XX)-1存在| XX |0 XX 为k+1阶的满秩阵 R(AB) min(R(A),R(B) R(X) k+1 因此，必须有nk+1，此为最小样本容量,满足基本要求的样本容量,一般经验认为： n 30或者n 3(k+1)才能满足模型估计的基本要求。 n 3(k+1)时，t分布才稳定，检验才较为有效,§3.3 多元线性回归模型的统计检验,回归分析是要通过样本所估计的参数来代替总体的真实参数，或者说是用样本回归线代替总体回归。 尽管从统计性质上已知，如果有足够多的重复 抽样，参数的估计值的期望（均值）就等于其总体的参数真值，但在一次抽样中，估计值不一定就等于该真值。 那么，在一次抽样中，参数的估计值与真值的差异有多大，是否显著，这就需要进一步进行统计检验。 主要包括拟合优度检验、变量的显著性检验及模型整体的显著性检验。,1.拟合优度检验,(1) 总离差平方和的分解,总离差平方和（TSS）,回归平方和（ESS）,残差平方和（RSS）,(1)总离差平方和的分解,注意英文缩小的含义,TSS：Total Square Sum / 总离差平方和 RSS： Regression Square Sum / 回归平方和 Residual Square Sum / 残差平方和 ESS Error Square Sum / 误差平方和（残差平方和） Explain Square Sum / 解释平方和（回归平方和）,平方和分解的意义,TSS=RSS+ESS 被解释变量Y总的变动（差异）= 解释变量X引起的变动（差异） + 除X以外的因素引起的变动（差异） 如果X引起的变动在Y的总变动中占很大比例，那么X很好地解释了Y；否则，X不能很好地解释Y。,(2)样本可决系数,样本可决系数是拟合优度评价的最重要指标，残差的标准差也能作为拟合优度评价的参考指标 样本可决系数（The coefficient of Determination）R2 随机项的方差2的最小二乘估计量,相关系数,计算方法与样本决定系数一样 含义有所不同： 样本可决系数是判断回归方程与样本观测值拟合优度的一个数量指标，隐含的前提条件是X和Y具有因果关系 相关系数是判断两个随机变量线性相关的密切程度，不考虑因果关系。,(3)调整的可决系数(adjusted coefficient of detemination),增加解释变量时，很可能增加R2，容易引起错觉，认为只要在回归模型中增加解释变量就可以了，因此考虑对R2进行修正,思考：调整的可决系数能否为负？如果为负，说明什么问题？,注意TSS、ESS、RSS的自由度,TSS(离差平方和): n-1 RSS(残差平方和):n-k-1 ESS(回归平方和):k,= n-1,赤池信息准则和施瓦茨准则,为了比较所含解释变量个数不同的多元回归模型的拟合优度,常用的标准还有赤池信息准则和施瓦茨准则 赤池信息准则的定义为:,AIC = ln( ee/n) +2(k+1)/n,施瓦茨准则的定义为:,SC = ln( ee/n) +(k/n)ln n,上面的两个准则均要求仅当所增加的解释变量能够减少AIC和SC的值时,才允许在模型中增加该解释变量,4.方程整体线性的显著性检验(F检验),检验估计的回归方程作为一个整体的统计显著性,5.参数估计量的t检验,检验回归方程中每个解释变量的统计显著性,参数的置信区间,容易推出：在(1-)的置信水平下i的置信区间是,其中，t/2为显著性水平为 、自由度为n-k-1的t分布的临界值。,回归模型统计检验的步骤,(1) 查看拟合优度，进行F检验，从整体上判断回归方程是否成立，如果F检验通不过，无须进行下一步；否则进行下一步 查看各个变量的t值及其相应的概率，进行t检验，如果相应的概率小于给定的显著水平，该自变量的系数显著地不为0，该自变量对因变量作用显著；否则系数与0无显著差异（本质上=0），该自变量对因变量无显著的作用，应从方程中删去，重新估计方程。 但是，一次只能将最不显著（相应概率最大）的删除。每次删除一个，直至全部显著。,§3.4 多元线性回归模型的预测,对于方程,给定样本以外的解释变量的观测值X0=(1,X01,X02,X0k)，可以得到被解释变量的预测值：,它可以是总体均值E(Y0)或个值Y0的预测。 但严格地说，这只是被解释变量的预测值的估计值，而不是预测值。 为了进行科学预测，还需求出预测值的置信区间，包括E(Y0)和Y0的置信区间。,1. E(Y0)的置信区间,易知,容易证明,于是，得到(1-)的置信水平下E(Y0)的置信区间：,其中，t/2为(1-)的置信水平下的临界值。,2. Y0的置信区间,如果已经知道实际的预测值Y0，那么预测误差为：,容易证明,e0服从正态分布，即,构造t统计量,可得给定(1-)的置信水平下Y0的置信区间：,§3.5 极大似然估计(Maximum Likelihood),极大似然估计 基本原理：当从模型总体随机抽取容量为n的一组样本观测值后，最合理的参数估计量应该使得从模型中抽取该组样本观测值的概率最大。,在满足基本假设条件下，对一元线性回归模型：,随机抽取容量为n的一组样本观测值后（Xi, Yi）（i=1,2,n）。假如模型的参数估计量已经求得，为,那么Yi服从如下的正态分布：,于是，Y的概率函数为:,（i=1,2,n）,因为Yi是相互独立的，所以的所有样本观测值的联合概率，也即似然函数(likelihood function)为：,将该似然函数极大化，即可求得到模型参数的极大似然估计量。,由于似然函数的极大化与似然函数的对数的极大化是等价的，所以，取对数或然函数如下：,解得模型的参数估计量为：,可见，在满足一系列基本假设的情况下，模型结构参数的极大似然估计量与普通最小二乘估计量是相同的。,矩估计法的原理,简单的讲，这个原理认为样本的n阶中心钜和n阶原点矩和总体的n阶中心钜和n阶原点矩相同，当然这是一个近似。 就好像你们班一次考试有个平均分，我抽10个人的成绩，算下平均分，我就认为我算出的这个平均分就是你们班的平均分，很明显你知道我算得不可能刚刚好等于你们班的平均分，这只是一种近似。这是一阶原点钜的情况。 这中算法很普遍地存在于我们的生活中，比如算一个地区人均收入，你可别以为这是百分百准确的，它也是抽样统计而来，至于要抽样多少人才能达到要求的置信度，则要根据大数定律或中心极限定理来算，这个也不难，概率论的东西。,在总体的各阶矩存在的条件下，用样本的各阶矩去估计总体相应的各阶矩，又由于总体的分布类型已知，总体的各阶矩可表示为未知参数的已知函数，这样样本的各阶矩就与未知参数的已知函数联系起来，从而得到参数的各阶矩。,寻求估计量的方法,1. 矩估计法,2. 极大似然法,3. 最小二乘法,4. 贝叶斯方法 ,其思想是: 用同阶、同类 的样本矩来估计总体矩。,矩估计是基于“替换”思想建立起来的一种参数估计方法 。,最早由英国统计学家 K. 皮尔逊 提出。, 矩估计法的原理,矩估计就是用相应的样本矩去估计总体矩。,设总体 X 的分布函数中含 k 个未知参数,步骤一：记总体 X 的 m 阶原点矩 E(Xm)为 am , m = 1,2,k.,am(1,2,k), m =1, 2, , k.,一般地, am (m = 1, 2, , k) 是总体分布中