线性回归模型概述（计量经济学武汉大学刘伟）

第二部分 经典单方程计量经济学模型 理论与方法,单方程计量经济学模型是相对于联立方程模型而言的，它以单一经济现象为研究对象，模型中只包括一个方程，是应用最为普遍的计量经济学模型。,本章主要内容,§2.1 线性回归模型概述 §2.2 一元线性回归模型的参数估计 §2.3 二元线性回归模型的参数估计 §2.4 多元线性回归模型的参数估计 §2.5 多元线性回归模型的统计检验 §2.6 多元线性回归模型的置信区间 §2.7 异方差性 §2.8 序列相关性 §2.9 多重共线性 §2.10 随机解释变量问题,§2.1 线性回归模型概述,一、回归分析概述 二、线性回归模型的特征 三、线性回归模型的普遍性 四、线性回归模型的基本假设,一、回归分析概述,确定性关系或函数关系：研究的是确定性现象非随机变量间的关系。 统计依赖关系或相关关系：研究的是非确定性现象随机变量间的关系。, 经济变量之间的关系，大体可分为两类：,1、变量间的关系,对变量间统计依赖关系的考察主要通过相关分析(correlation analysis)或回归分析(regression analysis)来完成：,几点注意 不线性相关并不意味着不相关； 有相关关系并不意味着一定有因果关系； 相关分析对称地对待任何（ 两个 ）变量，两个变量都被看作是随机的；回归分析对变量的处理方法存在不对称性，即区分因变量（被解释变量）和自变量（解释变量）：前者是随机变量，后者不是。,回归分析是研究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论。其中： 前一个变量被称为被解释变量（Explained Variable）或因变量（Dependent Variable） 后一个（些）变量被称为解释变量（Explanatory Variable）或自变量（Independent Variable）,2、回归分析的基本概念,由于变量间关系的随机性，回归分析关心的是根据解释变量的已知或给定值，考察被解释变量的总体均值，即当解释变量取某个确定值时，与之统计相关的被解释变量所有可能出现的对应值的平均值。,回归分析关心的问题,总体回归函数,给定解释变量X的某个确定值Xi，与之统计相关的被解释变量Y的总体均值（期望值）可以表示为：,上式说明了被解释变量Y平均地说随解释变量X变化的规律，一般称为总体回归函数或总体回归方程（population regression function，PRF）；对应的曲线称为总体回归曲线（population regression curve），它可以是线性的或非线性的。,随机误差项的引入,给定解释变量X的某个确定值Xi ，与之统计相关的被解释变量Y的实际观测值为Yi 。 记,则i为Y的观测值Yi与它的期望值E(Y|Xi) 的离差，它是一个不可观测的随机变量，一般称之为随机扰动项（stochastic disturbance）或 随机误差项（stochastic error）。,总体回归模型, 若总体回归函数（方程）为 则 可以变形为 后者在总体回归函数（方程）的基础上引入了随机项，称为总体回归模型。,随机误差项包括了哪些因素的影响？,在解释变量中被忽略的因素的影响； 变量观测值的观测误差的影响； 模型关系的设定误差的影响； 设定误差：指设定方程偏离了真实方程，如遗漏了某些重要的解释变量，或引入了不相干的解释变量，或者模型形式设定有问题。 其它随机因素的影响。,产生并设计随机误差项的主要原因,理论的含糊性； 数据的欠缺； 节省原则。,样本回归函数,由于总体的信息往往无法掌握，总体回归函数是未知的。 回归分析的任务就在于，利用对总体的n次观测所得到的一组样本数据，去近似地估计总体回归函数。 这种利用样本数据，采用适当的方法估计得到的总体回归函数的近似形式，就叫做样本回归函数或样本回归方程（sample regression function，SRF）。对应的曲线称为样本回归线（sample regression curves）,例：若总体回归函数为如下线性形式,则对应的样本回归函数一般表示为,残差或剩余项,给定解释变量X的某个确定值Xi，根据样本回归函数可以计算出被解释变量Y的估计值 记 则ei被称为残差或剩余项（residual）,它代表了除解释变量外的其他所有因素对Y的影响。,样本回归模型,若样本回归函数为 则 后者在样本回归函数的基础上引入了残差项ei，称为样本回归模型。, 回归分析的主要目的,根据样本回归函数（模型）SRF，估计总体回归函数（模型）PRF。 以一元线性回归为例：,回归分析构成计量经济学的方法论基础，其主要内容包括： （1）根据样本观察值对计量经济模型（属于回归模型）参数进行估计，求得回归方程； （2）对回归方程及其参数进行检验； （3）利用回归方程进行分析、评价及预测。,4.回归分析：计量经济学的方法论基础,二、线性回归模型的特征,一个例子 凯恩斯绝对收入假设消费理论：消费（C）是由收入（Y）唯一决定的，是收入的线性函数： C = + Y,原因 消费除受收入影响外，还受其他因素的影响； 线性关系只是一个近似描述； 收入变量观测值的近似性：收入数据本身并不绝对准确地反映收入水平。,但实际上上述等式不能准确实现。,因此，一个更符合实际的数学描述为： C = + Y+ 其中： 是一个随机误差项，是其他影响因素的“综合体”。,线性回归模型的特征： （1）通过引入随机误差项，将变量之间的关系用一个线性随机方程来描述，并用随机数学的方法来估计方程中的参数； （2）在线性回归模型中，被解释变量的特征由解释变量与随机误差项共同决定。,单方程线性回归模型的一般形式,总体回归模型 总体回归方程 样本回归模型 样本回归方程,三、线性回归模型的普遍性,线性回归模型是计量经济学模型的主要形式，许多实际经济活动中经济变量间的复杂关系都可以通过一些简单的数学处理，使之化为数学上的线性关系。,将非线性关系化为线性关系的常用的数学处理方法,直接置换法 例如，描述税收与税率关系的拉弗曲线：抛物线 s = a + b r + c r2 c0 s：税收； r：税率 设X1 = r，X2 = r2， 则原方程变换为 s = a + b X1 + c X2 c0,直接置换法 对数变换 (3)级数展开,直接置换法仅用于变量非线性的情况。, 对数变换,例如，Cobb-Dauglas生产函数：幂函数 Q = AKL Q：产出量，K：投入的资本；L：投入的劳动,方程两边取对数： ln Q = ln A + ln K + ln L,(3)级数展开,例如，不变替代弹性(CES)生产函数： 方程两边取对数后，得到： 对 在=0处展开台劳级数，取关于的线性项，即得到一个线性近似式。,变量置换得到,结论：,实际经济活动中的许多问题，都可以最终化为线性问题，所以，线性回归模型有其普遍意义。 即使对于无法采取任何变换方法使之变成线性的非线性回归模型，目前使用得较多的参数估计方法非线性最小二乘法，其原理仍然是以线性估计方法为基础。 线性模型理论方法是计量经济学模型理论方法的基础。,四、线性回归模型的基本假设,1、技术线路,回归分析的主要目的是要通过样本回归函数（模型）SRF尽可能准确地估计总体回归函数（模型）PRF。即通过 估计 最常用的估计方法是普通最小二乘法。,为保证普通最小二乘法参数估计量具有良好的性质，通常对模型提出若干基本假设。 如果实际模型满足这些基本假设，普通最小二乘法就是一种适用的估计方法； 如果实际模型不满足这些基本假设，普通最小二乘法就不再适用，而要发展其它方法来估计模型。 所以，严格地说，这里的基本假设并不是针对模型的，而是针对普通最小二乘法的。,2、线性回归模型在上述意义上的基本假设,（1）解释变量X是确定性变量，不是随机变量；解释变量之间互不相关。 （2）随机误差项具有均值和同方差： E(i)=0 i=1,2, ,n Var (i)=2 i=1,2, ,n （3）随机误差项在不同样本点之间是独立的，不存在序列相关： Cov(i, j)=0 ij i、j= 1,2, ,n,（5）随机误差项服从均值、同方差的正态分布： iN(0, 2 ) i=1,2, ,n,（4）随机误差项与解释变量之间不相关： Cov(Xji, i)=0 i=1,2, ,n；j= 1,2, ,k,注意： 如果第(1)条假设满足，则第(4)条也满足; 模型对变量和函数形式的设定是正确的，即不存在设定误差。,重要提示,几乎没有哪个实际问题能够同时满足所有基本假设； 通过模型理论方法的发展，可以克服违背基本假设带来的问题； 违背基本假设问题的处理构成了单方程线性计量经济学理论方法的主要内容： 异方差问题（违背同方差假设） 序列相关问题（违背序列不相关假设） 多重共线性问题（违背解释变量不相关假设） 随机解释变量问题（违背解释变量确定性假设） 0均值、正态性假设是由模型的数理统计理论决定的。根据中心极限定理，第(5)条假设对于任何实际模型都是满足的。,