多元回归模型与建模.ppt

多元回归模型与建模多元回归模型与建模2005年5月Date1Applied Stat for MBA05D1一、多元线性回归问题1.一元回归问题的困惑—巴特勒(Butler)运输公司的例子 (p661)：行驶距离(英里) 运送货物次数 行驶时间(小时 )100 4 9.350 3 4.8100 4 8.9100 2 6.550 2 4.280 2 6.275 3 7.465 4 690 3 7.690 2 6.1Date2Applied Stat for MBA05D12.做行驶时间-行驶距离的一元回归Coefficients t Stat P-valueIntercept 1.273913 0.909454 0.389687 行驶距离(英里) 0.067826 3.976755 0.00408回归方程为 可以看出方程整体检验和自变量检验的P值为0.0041,一元回归能够 显著成立。

但是判定系数 偏小, 说明有些因变量的解释 因素（例如运货次数）没有引入Date3Applied Stat for MBA05D1Date4Applied Stat for MBA05D14.来自p元回归模型的容量为n的样本注意： 的第 1 个脚码 k 表示变量编号，k=1,…,p; 第 2 个脚码 i= 1,…,n 表示样本编号Date5Applied Stat for MBA05D15. 多元回归总体模型和古典假定• 总体模型表示式为• 古典假定1) E(ei)=0; (E(yi)=x1i+⋯+ pxpi)；2) 对于所有的 i，Var(ei)=；3) ei 是服从正态分布N(0,  ) 的；4) 对于不同的 ei,ej(ij) 是相互独立的Date6Applied Stat for MBA05D16.多元线性回归方程的估计Date7Applied Stat for MBA05D1巴特勒公司二元线性回归模型的估计自变量：x1-行驶距离, x2-运货次数回归方程：Date8Applied Stat for MBA05D17.多元回归方程变差分解和判定系数R2• 总变差的分解：SST=SSR+SSE； • 多元判定系数： R2=SSR/SST； • 多重相关系数r； • 调整（修正）的判定系数 ：• 巴特勒公司二元线性回归模型的判定系数Date9Applied Stat for MBA05D18.对回归方程的检验:F Test for Overall Significance • 问题：因变量和所有自变量之间是否存在显著 的关系？ • 判定系数 R2可以 做方程的整体检验，但是遇到 分布的困难。

• 检验假设• 拒绝域• F和R2 的关系：R2 = pF/(n-p-1+pF)Date10Applied Stat for MBA05D19.对回归系数的检验: t Test for Individual Significance• 检验假设 • 检验统计量• 拒绝域Date11Applied Stat for MBA05D110.巴特勒公司线性回归模型的Excel输出回归统计 R=0.951 R2=0.904 adj R2=0.876 s=0.573 n=10 方差分析df SS MS FSignificance F回归 221.601 10.800 32.878 0.00027624残差 7 2.299 0.328总计 923.9Here: SSR=21.601, SSE=2.299, SST=23.9.系数估计和检验Coefficients 标准误差 t Stat p-valueIntercept -0.8687 0.9515 -0.9129 0.39163行驶距离(英里) 0.0611 0.0099 6.1824 0.00045运送货物次数 0.9234 0.2211 4.1763 0.00416Date12Applied Stat for MBA05D111.多重共线性(Multicollinearity)(1)巴特勒运输公司例题的修改行驶距离 运送货物次数(修改数) 行驶时间100 4 (4) 9.350 3 (2) 4.8100 4 (4) 8.9100 2 (4) 6.550 2 (2) 4.280 2 (3) 6.275 3 (3) 7.465 4 (3) 690 3 (4) 7.690 2 (4) 6.1Date13Applied Stat for MBA05D1(2)巴特勒运输公司例题的回归结果• 一元回归方程• 二元回归方程• 运输次数修改后的二元回归方程(F检验p值：0.021)• *括弧内表示系数的p-值。

Date14Applied Stat for MBA05D1(3)多重共线性问题讨论巴特勒运输回归结果说明:增加解释变量不会降低R2的值,但是 adj R2的值却会降低.前两个回归方程的系数p-值都很低(说明甚麽?),后一个修改运输 次数的二元回归的两个系数p-值都很高,以至通不过检验.但是后一个 方程总体检验的F值的p-值却为0.021(0.05水平下方程成立)原因是修改运输次数数据,使得 x1, x2的相关系数由0.16升至0.97, 发生了共线性.自变量发生多重共线性,会出现一些(甚至全部)变量通 不过检验,但是方程总体检验却能通过.此时的解释变量系数估计值 很不可靠.经验表明：解释变量数据彼此的相关系数绝对值大于0.7,回归 结果就不可信,处理办法就是剔除p-值高的变量.对2个以上解释变量, 自变量的相关矩阵和方差膨胀因子(Variance Inflation Factors, 简记 作VIF)是识别多重共线性的有效方法,有专门软件加以精确检验.Date15Applied Stat for MBA05D112.利用模型进行预测使用计算机软件产生回归模型； 通过检验判断你的模型； 直接利用模型可以预测自变量(x01,x02,…,x0p) 对应的因变量期望值E(y0)的估计 。

预测E(y0)和y0的置信区域需要某些专门软件Date16Applied Stat for MBA05D113.多元回归的残差分析• 多元回归的残差分析作用方法和一元基 本相同 • 主要的差异在于:多自变量的观测值的杠 杆率hi的计算比较复杂,需要使用专门软 件 • 回归分析建模应用中可以看到残差分析 的应用Date17Applied Stat for MBA05D1二 、定性自变量(Qualitative Independent Variable) 1 . 虚拟变量 (Dummy variable)方差分析中定性变量的解决方案：引入因子，处理 回归分析的解决方案：引入虚拟变量 如何定义虚拟变量？例：x2=0 (女性），x2=1（男性）如何解释回归模型？期望值模型为：女性:男性:截距变化，斜率相同 Date18Applied Stat for MBA05D12.Johnson过滤水股份公司例子Johnson公司对遍布南弗罗里达州的 水过滤系统提供维修服务为了估计服 务时间和成本，公司希望能够对顾客的 每一次维修请求预测必要的维修时间 他们收集的数据中包含就近一次维修至 今的时间（月数）、故障的类型（电子 和机械）以及相应的维修时间（小时） 。

你能够建立起一个预测方程吗？Date19Applied Stat for MBA05D1(1)Johnson公司数据维修时间/小时 最后维修至本次维修请求时间/月 故障类型2.9 2 电子 13.0 6 机械 04.8 8 电子 11.8 3 机械 02.9 2 电子 14.9 7 电子 14.2 。