《因果推断实用计量方法》大学教学课件第2章 线性回归 - 理解篇.pptx

第二章：回归分析-理解篇,大纲,线性回归模型与因果推断 最小二乘法 多元回归系数估计的直观理解 多元线性回归分解 内生性和因果关系,线性回归模型，条件期望函数与因果推断,被解释变量，解释变量和干扰项,假设要研究的问题是教育(EDU)对收入(INC)的因果影响, 线性关系如下： =+ 1 + 2 + EDU是我们希望估计的对INC因果影响程度的变量，也称为处置变量 智商IQ为控制变量，智商也会影响收入，并且智商越高，教育程度也越高，二者有正相关关系 因为EDU和IQ都会影响收入INC，它们也统一称为被解释变量INC的解释变量 干扰项e包含其他观测不到的影响收入的变量被解释变量，解释变量和干扰项,=+ 1 + 2 + 因为干扰项是不可观测到的，因此即使观测到了变量INC，EDU和IQ的变化关系（即三者相互的相关关系），我们并不能确定多少INC的变化是由于EDU变化造成 （即系数 1 ），因为它们之间变化的相关性可能是由于干扰项造成的路径图,干扰项条件均值独立,要达到图2.1（b）所示的情形，干扰项和在控制了IQ后不存在混淆路径，回归中通常使用的条件是：干扰项条件均值独立于解释变量, 即： , = = 它的意思是对于给定任意教育程度=和智商水平=的人，干扰项的平均值都是一样的(等于常数c)。

干扰项条件均值独立,因为线性回归模型里包含了常数项，我们可以把常数c加入常数项，使得： , =0 因此这个条件也称为干扰项条件均值为0这也是计量教课书里通常紧接着线性方程假设的第二个假设条件期望函数(CEF),前面的讨论说明了一个能够识别出解释变量和被解释变量的因果关系的线性回归模型要满足以下两个假设 线性关系假设：=+ 1 + 2 +， 干扰项条件均值为零假设： , =0 线性函数两边取期望值，得到 , =+ 1 + 2 + , =+ 1 + 2 可见，线性回归模型的两个假设对应的是线性条件期望函数（Conditional Expectation Function, CEF）： , =+ 1 + 2 ,因果关系CEF,将条件期望函数 , 分别对 EDU和IQ求偏导数，得到： , = 1 , , = 2 1 的意义是：当IQ不变的时候，INC的期望值（均值）随如何变化 2 的意义是：当不变的时候，INC的期望值随IQ如何变化 可见在 , =0情况下， 1 和 2 分别给出了EDU和IQ对INC的均值的因果影响因此条件期望函数 , =+ 1 + 2 称为因果关系CEF或因果关系回归函数缺失变量,假设我们只观测到了EDU 和INC，并没有观测到IQ，只能把IQ作为干扰项的一部分。

=+ 1 + 2 + 因为干扰项= 2 +包含了IQ，并且IQ和EDU存在相关性，和解释变量EDU 也产生了相关性，即 E =E 2 + = 2 E(|)0,缺失变量,这种情况下，干扰项不满足均值独立于解释变量这时描述解释变量，被解释变量和干扰项关系的线性模型为： =+ 1 +， 0,相关关系CEF,= 0 + 1 +， =0对应的CEF为: (|)= 0 + 1 对EDU求导数，得到： = 1 反映了INC的期望值如何随EDU变化，但并没有保持IQ不变相关关系CEF,要得到 1 和 1 的关系，将=+ 1 + 2 +代入 ， 得到: = + 1 + 2 + =+ 1 + 2 对EDU求导： = 1 + 2 , 因此： 1 = 1 + 2 ,相关关系CEF,假设教育EDU和智商IQ存在着线性相关关系： = 0 + 1 得到： = 1 代入前式得到： 1 = 1 + 2 1,相关关系CEF,由于系数 1 反映的是教育和收入的相关性，并非纯粹的教育对收入的因果影响， 因此我们说( | )= 0 + 1 是个相关关系CEF或相关关系回归方程小结1,本节讨论了三个模型 模型1： =+ 1 + 2 + ， , =0。

模型2：=+ 1 + ， 0 模型3：= 0 + 1 +， =0最小二乘法,回归模型,假设我们要估计线性回归模型: = +, =0 的系数= 1 2 3 ，是被解释变量, 是包含个解释变量的向量，即= 1 2 3 这个模型对应的CEF是: (|)= ,总体最小二乘法,使用总体最小二乘法求解系数 ，就是最小化被解释变量值和解释变量线性预测值 =的残差 = 平方的期望值，即求解下面问题： = argmin 上式最小化的条件是它对的一阶导数等于0，即 满足: ( ) = 这个条件也等同于： = 可见最小二乘法的本质是求解系数 ，使得解释变量和残差 不相关的总体最小二乘法得到的系数,解为 = () 1 () 将线性回归模型= +代入，得到 = 1 = 1 ( +e )=+ () 1 () 差异项 当E e =0，()= ( = =0，差异项 1 =0, 得到： =,总体最小二乘法得到的系数,可见通过总体最小二乘法得到的和的线性关系系数 就是线性模型=+， E =0的系数换而言之，最小二乘法得到的系数 是条件期望函数(|)= 的系数 如果求解的条件期望函数是因果关系CEF，最小二乘法求得的系数 就具备因果关系解释。

如果求解的条件期望函数是相关关系CEF，最小二乘法得到的系数 就只具备相关关系解释干扰项(error term)和残差(residual),干扰项是包含了除解释变量之外其它影响被解释变量的因素因为干扰项是无法观测到的，所以干扰项和解释变量是否相关是无法检验的这只能依靠我们用经济理论和实证经验去判断 残差是最小二乘法计算出来的，并且总是和解释变量不相关的从最小二乘法的一阶公式我们看到， ( ) = = 可见最小二乘法得到的系数解 保证了残差项 和解释变量不相关总是成立的 但残差 和解释变量不相关并不代表模型里干扰项和解释变量不相关只有当干扰项和解释变量不相关时，最小二乘法得到的残差才是干扰项的正确估计因此系数也是正确的估计多元回归系数估计的直观理解,多元回归系数估计系数的信息来源,我们了解了对应总体线性回归模型Y= +e ，E e =0，总体最小二乘法解 = () 1 ()等于总体系数 如果模型里有多个被解释变量=( 1 , 2 , 3 , )，并且变量间是相关的，最小二乘法是如何使用变量的信息来区别每个解释变量对被解释变量的影响并得到对应的估计系数 = ( 1 , 2 , 3 , ) ？ 例如估计模型是=+ 1 + 2 + ， , =0。

教育和智商是相关的那么最小二乘法是如何区分开和对的影响，并找到他们分别对的因果影响的系数 1 和 2,多元线性回归图解. 情形1：解释变量相关,=+ 1 + 2 +,多元线性回归图解，情形2：解释变量高度共线性,线性回归图解，情形3：解释变量不相关,多元线性回归分解,回归分解法,用最小二乘法计算得到被解释变量和解释变量 1 , , 的线性函数关系 = + 1 1 + + + 中的任何一个解释变量 的系数 都等同于下面两步求得的解 第一步：将 作为被解释变量，其它不包括 的解释变量作为自变量，用最小二乘法得到它们线性函数关系的残差项 = ，即用最小二乘法得到下面附属方程的系数和残差项 = 0 + 1 1 + 1 1 + +1 +1 + + 第二步：将作为因变量， 作为自变量，用最小二乘法得到下面方程的系数 = + + = (, ) ( ) 这个二元线性回归方程 系数的最小二乘法解 等于多元线性回归方程里 的解 ,回归分解法,以模型=+ 1 + 2 +为例，通过多元回归得到= + 1 + 2 + ，其中的系数 1 等同以下两步得到系数 第一步： 将对做线性回归（即用最小二乘法）得到残差项 ，这样首先排除了变化中和相关的部分，即： = 0 + 1 + 第二步：将对残差项 做线性回归，得到对的单独影响，即： = + 1 + 。

根据二元回归的系数公式， 1 有个简单的表达式是： 1 = (, ) ( ) 从上式我们看到，对的因果影响系数是取决于 （变化中和不相关的部分）和的相关性程度（即图中的第2部分）内生性和因果关系,什么是内生性?,广义来讲，对于一个线性回归模型=+ 1 1 + 2 2 + + ，如果干扰项和解释变量是相关的，即(| 1 , 2 ,., )0，我们说这个线性模型存在内生性的问题 例如第1节里的模型2：=+ 1 + ， 0我们知道干扰项里包含了IQ变量，因此 0，存在内生性问题 这里需要注意的是模型3：= 0 + 1 +， =0 表面上不存在内生性问题但我们知道 =0是错误判断干扰项和解释变量关系的后果，满足这个关系的干扰项不是真实的干扰项因此 =0并不代表真实的干扰项和解释变量不相关内生性来源,造成干扰项和解释变量相关E(| 1 , 2 ,., )0的原因有三种情况 A. 遗漏解释变量 B. 解释变量的测量误差 C. 互为因果,遗漏解释变量,假设一个有因果关系的模型为： =+ 1 1 + 2 2 +，E 1 , 2 =0， 但回归估计的模型遗漏了 2 这个变量，使用以下模型： =+ 1 1 + 。

那么 E 1 = 2 2 + 1 = 2 ( 2 | 1 )0，如果 1 和 2 存在相关性 可见遗漏变量造成内生性的原因是：遗漏变量 2 和解释变量 1 相关性造成了导致了包含遗漏变量的干扰项和解释变量 1 相关解释变量的测量误差,假设一个有因果关系的模型： = 0 + 1 +， =0 在观测 时存在测量误差 ，即观测到的 = +， 但测量误差与 、 不相关，且均值为零 观测值不存在测量误差，即= 把观测值带入模型： = 0 + 1 + = 0 + 1 += 0 + 1 1 += 0 + 1 + 1 + 这时观测值= + 和干扰项= 1 + 都包含了测量误差这造成了 , = , = +, 1 = 1 ()0 可见解释变量的观测误差造成内生性的原因是：使用有测量误差的解释变量造成了干扰项里包含测量误差，进而导致干扰项和有测量误差的解释变量相关互为因果,如果 1 与 2 互为因果并满足如下关系： 1 = 1 1 + 1 2 + 1 2 = 2 2 + 2 1 + 2 . 其中 1 与 2 均与 1 ， 2 不相关，且 1 与 2 也不相关 将 2 带入 1 的右边，我们可以得到如下“简化式”（reduced form）： 1 = 1 1 1 2 1 + 2 1 1 1 2 2 + 1 1 1 2 + 2 1 1 1 2 可以看到模型中解释变量 1 和干扰项 2 存在相关性： 1 , 2 = 1 1 1 2 1 + 2 1 1 1 2 2 + 1 1 1 2 + 2 1 1 1 2 , 2 = 1 1 1 2 2 0 可见互为因果造成内生性的原因是：当干扰项 1 发生变化，造成被解释变量 1 变化，由于存在逆向因果， 1 在成为解释变量，其变化造成了被解释变量 2 的变化，进而导致中干扰项 1 的变化和解释变量 2 的变化形成了相关性。