统计学第六版贾俊平第12章.ppt

12 - 1统计学 第六版第第 12 12 章章 多元线性回归多元线性回归作者：中国人民大学统计学院贾俊平统计学12 - 2统计学 第六版第第1212章章 多元线性回归多元线性回归12.112.1 多元线性回归模型多元线性回归模型 12.212.2 回归方程的拟合优度回归方程的拟合优度 12.3 12.3 显著性检验显著性检验 12.4 12.4 多重共线性多重共线性 12.512.5 利用回归方程进行估计和预测利用回归方程进行估计和预测 12.6 12.6 虚拟自变量的回归虚拟自变量的回归12 - 3统计学 第六版学习目标学习目标1.1. 回归模型、回归方程、估计的回归方程回归模型、回归方程、估计的回归方程 2.2. 回归方程的拟合优度回归方程的拟合优度3.3. 回归方程的显著性检验回归方程的显著性检验 4.4. 多重共线性问题及其处理多重共线性问题及其处理 5.5. 利用回归方程进行估计和预测利用回归方程进行估计和预测 6.6. 虚拟自变量的回归问题虚拟自变量的回归问题 7.7. 用用 Excel Excel 进行回归分析进行回归分析12 - 4统计学 第六版12.112.1 多元线性回归模型多元线性回归模型一一. . 多元回归模型与回归方程多元回归模型与回归方程 二二. . 估计的多元回归方程估计的多元回归方程 三三. . 参数的最小二乘估计参数的最小二乘估计12 - 5统计学 第六版多元回归模型与回归方程多元回归模型与回归方程12 - 6统计学 第六版多元回归模型多元回归模型(multiple regression model)(multiple regression model)1.1.一个因变量与两个及两个以上自变量的回归一个因变量与两个及两个以上自变量的回归 2.2.描述因描述因变量变量 y y 如何依赖于自变量如何依赖于自变量 x x1 1，，x x2 2，，……，， x xp p和误差项和误差项  的方程，称为多元回归模型的方程，称为多元回归模型 3.3.涉涉及及 p p 个自变量的多元回归模型可表示为个自变量的多元回归模型可表示为§ § 0 0 ，，11，， ，，，，p p是参数是参数§ §  是被称为误差项的随机变量是被称为误差项的随机变量 § § y y 是是x x1,1,，，x x2 2 ，， ，，x xp p的线性函数加上误差的线性函数加上误差 项项§ §  包含在包含在y y里面但不能被里面但不能被p p个自变量的线性关个自变量的线性关 系所解释的变异性系所解释的变异性12 - 7统计学 第六版多元回归模型多元回归模型 ( (基本假定基本假定) ) 1.1. 误误差项差项ε ε是一个期望值为是一个期望值为0 0的随机变量，的随机变量，即即E E( ()=0)=0 2.2. 对于对于自变量自变量x x1 1，，x x2 2，，……，，x xp p的所有值，的所有值， 的方差的方差 2 2都相同都相同 3.3. 误误差项差项ε ε是一个服从正态分布的随机变量，是一个服从正态分布的随机变量， 即即ε ε~ ~N N(0,(0, 2 2) )，，且相互独立且相互独立12 - 8统计学 第六版多元回归方程多元回归方程(multiple regression equation)(multiple regression equation)1.1. 描描述因变量述因变量 y y 的平均值或期望值如何依赖的平均值或期望值如何依赖 于自变量于自变量 x x1 1，， x x2 2，，……，，x xp p的方程的方程 2.2. 多多元线性回归方程的形式为元线性回归方程的形式为E E( ( y y ) ) = = 0 0+ + 1 1 x x1 1+ + 2 2 x x2 2+ +…+…+ p p x xp p§ §11，， ，，，，p p称为偏回归系称为偏回归系 数数§ § i i 表示假定其他变量不变，当表示假定其他变量不变，当 x xi i每变动一个单位时，每变动一个单位时，y y 的平均平均变的平均平均变 动值动值12 - 9统计学 第六版二元回归方程的直观解释二元回归方程的直观解释二元线性回归模型二元线性回归模型( (观察到的观察到的y y) )回归面回归面0 0i ix x1 1y yx x2 2( (x x1 1, ,x x2 2) )} }12 - 10统计学 第六版估计的多元回归方程估计的多元回归方程12 - 11统计学 第六版估计的多元回归的方程估计的多元回归的方程 (estimated multiple regression equation)(estimated multiple regression equation)§ § 是是 估计值估计值 § § 是是 y y 的估计值的估计值1.1. 用样本统计量用样本统计量 估计回归方估计回归方 程中的程中的 参数参数 时得到的方程时得到的方程 2.2. 由最小二乘法求得由最小二乘法求得 3.3. 一般形式为一般形式为12 - 12统计学 第六版参数的最小二乘估计参数的最小二乘估计12 - 13统计学 第六版参数的最小二乘法参数的最小二乘法2.2. 求求解解各回归参数的标准方程如下各回归参数的标准方程如下1.1. 使使因变量的观察值与估计值之间的离差平方和因变量的观察值与估计值之间的离差平方和 达到最小来求得达到最小来求得 。

即即12 - 14统计学 第六版参数的最小二乘法参数的最小二乘法 ( (例题分析例题分析) )【【例例】】一家大型商业银行在多个地区设有分行，一家大型商业银行在多个地区设有分行， 为弄清楚不良贷款形成的原因，抽取了该银行为弄清楚不良贷款形成的原因，抽取了该银行 所属的所属的2525家分行家分行20022002年的有关业务数据试建年的有关业务数据试建 立不良贷款立不良贷款( (y y) )与贷款余额与贷款余额( (x x1 1) )、累计应收贷款、累计应收贷款( (x x2 2) )、贷款项目个数、贷款项目个数( (x x3 3) )和固定资产投资额和固定资产投资额( (x x4 4) )的线性回归方程，并解释各回归系数的含义的线性回归方程，并解释各回归系数的含义 用用ExcelExcel进行回归进行回归12 - 15统计学 第六版12.212.2 回归方程的拟合优度回归方程的拟合优度一一. . 多重判定系数多重判定系数 二二. . 估计标准误差估计标准误差12 - 16统计学 第六版多重判定系数多重判定系数12 - 17统计学 第六版多重判定系数多重判定系数 ( (multiple coefficient of determinationmultiple coefficient of determination) )1.1. 回归平方和占总平方和的比例回归平方和占总平方和的比例 2.2. 计算公式为计算公式为3.3. 因变量取值的变差中，能被估计的多元回因变量取值的变差中，能被估计的多元回 归方程所解释的比例归方程所解释的比例 12 - 18统计学 第六版修正多重判定系数修正多重判定系数( (adjusted multiple coefficient of determinationadjusted multiple coefficient of determination) )1.1.用样本容量用样本容量n n和自变量的个数和自变量的个数p p去修正去修正R R2 2得到得到 2.2.计算公式为计算公式为3.3.避免增加自变量而高估避免增加自变量而高估 R R2 24.4.意义与意义与 R R2 2类似类似 5.5.数值小于数值小于R R2 2Excel Excel 输出结果的分析输出结果的分析12 - 19统计学 第六版估计标准误差估计标准误差 S Sy y1.1. 对误差项对误差项的标准差的标准差 的的一个估计值一个估计值 2.2. 衡量多元回归方的程拟合优度衡量多元回归方的程拟合优度 3.3. 计算公式为计算公式为Excel Excel 输出结果的分析输出结果的分析12 - 20统计学 第六版12.312.3 显著性检验显著性检验一一. . 线性关系检验线性关系检验 二二. . 回归系数检验和推断回归系数检验和推断12 - 21统计学 第六版线性关系检验线性关系检验12 - 22统计学 第六版线性关系检验线性关系检验1.1.检验因变量与所有自变量之间的是否显著检验因变量与所有自变量之间的是否显著 2.2.也被称为也被称为总体的显著性总体的显著性检验检验 3.3.检验方法是将回归离差平方和检验方法是将回归离差平方和( (SSRSSR) )同剩余离同剩余离 差平方和差平方和( (SSESSE) )加以比较，加以比较，应用应用 F F 检验检验来分来分 析二者之间的差别是否显著析二者之间的差别是否显著n n如果是显著的，因变量与自变量之间存性如果是显著的，因变量与自变量之间存性 关系关系n n如果不显著，因变量与自变量之间不存性如果不显著，因变量与自变量之间不存性 关系关系12 - 23统计学 第六版线性关系检验线性关系检验1.1.提出提出假设假设n nH H0 0：：1 12 2p p=0 =0 线性关系不显著线性关系不显著n nH H1 1：：1 1，，2 2，，，，p p至少有一个不等于至少有一个不等于0 02. 2. 计算计算检验统计量检验统计量F F3. 3. 确定确定显著性水平显著性水平和分子自由度和分子自由度p p、分母自由度、分母自由度n n -p-p-1-1找出临界值找出临界值F F  4. 4. 作出作出决策：若决策：若F F> >F F ，拒绝，拒绝H H0 0Excel Excel 输出输出 结果的分析结果的分析12 - 24统计学 第六版回归系数检验和推断回归系数检验和推断12 - 25统计学 第六版回归系数的检验回归系数的检验1.1.线性关系检验通过后，对各个回归系数有选线性关系检验通过后，对各个回归系数有选 择地进行一次或多次检验择地进行一次或多次检验2.2.究竟要对哪几个回归系数进行检验，通常需究竟要对哪几个回归系数进行检验，通常需 要在建立模型之前作出决定要在建立模型之前作出决定3.3.对回归系数检验的个数进行限制，以避免犯对回归系数检验的个数进行限制，以避免犯 过多的第一类错误过多的第一类错误( (弃真错误弃真错误) ) 4.4.对每一个自变量都要单独进行检验对每一个自变量都要单独进行检验• •应用应用 t t 检验统计量检验统计量12 - 26统计学 第六版回归系数的检验回归系数的检验 ( (步骤步骤) )1.1.提出假设提出假设n nH H0 0：： i i = 0 (= 0 (自变量自变量 x xi i 与与因变量因变量 y y 没有线性关没有线性关 系系。