计量经济学-多元线性回归模型及参数估计

第三章 经典单方程计量经济学模型：多元线性回归模型,本章主要内容,§3.1 多元线性回归模型及其参数估计 §3.2 多元线性回归模型的统计检验 §3.3 多元线性回归模型的区间估计,§3.1 多元线性回归模型 及其参数估计,一、多元线性回归模型及其基本假定 二、多元线性回归模型的参数估计 三、OLS参数估计量的统计性质 四、样本容量问题 五、多元线性回归模型实例,由于： 在实际经济问题中，一个变量往往受到多个原因变量的影响； “从一般到简单”的建模思路。 所以，线性回归模型中的解释变量往往有多个（至少开始是这样）。这样的模型被称为多元线性回归模型。,一、多元线性回归模型及其基本假定,多元线性回归模型的一般形式为：,习惯上，把常数项看成为一个虚变量（记作Xio）的系数，在参数估计过程中该虚变量的样本观测值始终取1（即Xi0 1）。,i=1,2,n,这样： 模型中解释变量的数目为（k+1）。,1.多元线性回归模型的形式 (见教材P62-63),多元线性回归模型的矩阵表达式为：,其中,注意这里的符号和教材P63的对应关系。,其中,如果多元线性回归模型的样本回归模型为： (教材P63),i=1,2,n,则有,2.多元线性回归模型的基本假定(见教材P64-65),（2）解释变量Xj(j=1,2,k)是确定性变量，不是随机变量，在重复抽样中取固定值；解释变量之间不存在严格的线性相关性（无完全多重共线性）。 （3）各个解释变量Xj在所抽取的样本中具有变异性，而且随着样本容量的无限增加，各个解释变量Xj的样本方差趋于一个非零的有限常数Qj。即当n时，,（1）回归模型是正确设定的。,为使参数的普通最小二乘估计量具有良好的统计性质，对多元线性回归模型提出下列基本假定：,（4）随机误差项具有零均值和同方差；随机误差项在不同样本点之间是独立的，不存在序列相关： E(i)=0 i=1,2, ,n Var (i)=2 i=1,2, ,n Cov(i, j)=0 ij i,j= 1,2, ,n,注意：严格讲，这里应该是条件期望、条件方差和条件协方差的形式。教材P65指出：这里的条件期望、条件方差和条件协方差均可以简写为非条件的形式。,（5）随机误差项与解释变量之间不相关： Cov(Xij, i)=0 i=1,2,n；j=1,2,k （6）随机误差项服从零均值、同方差、零协方差的正态分布： iN(0, 2 ) i=1,2,n,注意： 以上假设也称为线性回归模型的经典假设或高斯（Gauss）假设。满足这些假设的线性回归模型，也称为经典线性回归模型（Classical Linear Regression Model, CLRM）。 在经典假设下，,严格讲，这里也应该是条件协方差形式。,严格讲，这里也应该是条件分布形式。,2.多元线性回归模型的基本假定（矩阵形式）,关于多元线性回归模型的基本假定26，也可以写成矩阵形式。 见教材P64-65，一定要熟记。如：,秩(X)=k+1，即Xn×(k+1)为列满秩矩阵。,因为各个解释变量之间不存在严格的线性关系，也即任何一个解释变量都不能用其它解释变量的线性组合来表示，这样，矩阵X的任何一列都不可能通过线性变换变成全为0。,2.多元线性回归模型的基本假定（矩阵形式）,2.多元线性回归模型的基本假定（矩阵形式）,1.普通最小二乘估计,二、多元线性回归模型的参数估计,（i=1,2,n ）,随机抽取被解释变量和解释变量的n组样本观测值,根据最小二乘原理，参数估计值应该是下列方程组的解：,其中,最小,于是得到关于待估参数估计值的正规方程组：,问题：我们无法象一元回归那样，用小代数公式来表达多元线性回归模型的参数估计量！,上述估计过程的矩阵表示,其中,从而，被解释变量的观测值与估计值之差的平方和为：,求解过程如下： （教材P66）,要点：若A、X均为列向量，则 AX 关于列向量X的导数为A。,注意：一个函数关于列向量求导，是指这个函数关于列向量中的每个元素求导，其结果仍应写成列向量的形式。,于是，得到正规方程组：,由于假定解释变量之间不存在多重共线性， XX为(k+1)阶满秩矩阵，可得参数的最小二乘估计值为：,该式等价于P66的（3.2.3）式,例 利用第二版P28表2.1.3中的家庭可支配收入（X）和消费支出（Y），估计一元线性回归模型，参数估计的计算可通过下面的表2.2.1进行。,因此，由该样本估计的回归方程为：,小代数解法：,对于该例题，如果用矩阵公式求解，那么过程如下：,可求得：,例3.2.1,对于第三版P37例2.3.1的家庭可支配收入-消费支出数据，如果用矩阵公式求解，那么过程如下： 见教材P67，略, 正规方程组 的另一种写法： (教材P67),对于正规方程组,于是,或,(*)或（*）是多元线性回归模型正规方程组的另一种写法。,(*),(*),离差形式的样本回归方程,由于,所以,这就是离差形式的样本回归方程。,随机误差项的均值为0，方差的无偏估计量为：,提示：证明过程参见潘文卿、李子奈：计量经济学学习指南与练习，高等教育出版社，2010 ，P37-38，例7,随机误差项方差的无偏估计量,随机误差项方差估计量的无偏性（证明，有补充，不要求）,由于被解释变量的估计值与观测值之间的残差,残差的平方和为：,所以有,其中,符号“tr”表示矩阵的迹，其定义为矩阵主对角线元素的和。,于是,所以，随机误差项方差的无偏估计量为,注意：这里对潘文卿等计量经济学学习指南与练习（P37-38，例7 ）作了补充！,提示：tr(A+B)= tr(A)+ tr(B)； tr(ABC)= tr(CAB)= tr(BCA),这两步推导，分别利用了序列无关假定和同方差假定！,即,注：潘文卿等计量经济学学习指南与练习P50给出了另一种证明。,（不要求）,2.最大似然估计（Maximum Likelihood,ML) (不作要求）,随机抽取Y的n组样本观测值，其联合概率为,对数似然函数为 参数的最大似然估计 结果与参数的普通最小二乘估计相同。,3.矩估计（Moment Method,MM） （不作要求）,三、OLS参数估计量的统计性质（教材P70）,另外，随着样本容量的增加，即当n时，参数估计量还具有渐近无偏性、一致性和渐近有效性等三个性质。,1线性,2无偏性,这里利用了解释变量为非随机变量和随机误差项的零均值假设：,3有效性,其中利用了,根据高斯马尔可夫定理，上述方差在所有无偏估计量的方差中是最小的，所以普通最小二乘参数估计量具有有效性。,四、样本容量问题,1. 最小样本容量,2.满足基本要求的样本容量,计量经济学模型，说到底是从表现已经发生的经济活动的样本数据中寻找经济活动中内含的规律性，所以，它对样本数据具有很强的依赖性。, 最小样本容量（教材P71）,所谓“最小样本容量”，是指从最小二乘原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。 样本容量必须不少于模型中解释变量的数目（包括常数项）： （证明过程，见教材P71）,这就是最小样本容量。,2.满足基本要求的样本容量（教材P71）,虽然当 nk+1时可以得到参数估计量，但除了参数估计量质量不好以外，一些建立模型所必须的后续工作也无法进行。,五、多元线性回归模型实例,（一）中国居民人均消费模型 二元线性回归模型,第二版教材P65例3.2.2 被解释变量：居民人均消费支出CONSP 解释变量： 人均国内生产总值GDPP; 滞后一期（前一年）的居民人均消费支出CONSP(-1) 模型的形式：二元线性回归模型 样本数据：见第二版教材P50表2.5.1。,第二版教材P50表2.5.1 中国居民人均消费支出与人均GDP （元/人）,Eviews软件运行结果,拟合效果,（二）第三版教材P72-73 例3.2.2,已知数据是2006年中国内地各省区城镇居民家庭人均全年可支配收入与人均全年消费性支出。要求：以人均全年消费性支出为被解释变量，以人均全年可支配收入与滞后一期的人均全年消费性支出为解释变量，建立二元线性回归。,第三版教材P72-73 例3.2.2,同学们课后应经常上机练习。,