SPSS的线性回归分析.ppt

统计分析与SPSS的应用SPSS的线性回归分析1回归分析概述(一)回归分析理解 (1)“回归”的含义 – galton研究研究父亲身高和儿子身高的关系时的独特发现. (2)回归线的获得方式一:局部平均 – 回归曲线上的点给出了相应于每一个x(父亲)值的y(儿子)平均数的 估计 (3)回归线的获得方式二:拟和函数 – 使数据拟和于某条曲线; – 通过若干参数描述该曲线; – 利用已知数据在一定的统计准则下找出参数的估计值(得到回归曲 线的近似);2回归分析概述(二)回归分析的基本步骤 (1)确定自变量和因变量(父亲身高关于儿子身高的回归与儿子身 高关于父亲身高的回归是不同的). (2)从样本数据出发确定变量之间的数学关系式,并对 回归方程的各个参数进行估计. (3)对回归方程进行各种统计检验. (4)利用回归方程进行预测.3线性回归分析概述(三)参数估计的准则 – 目标:回归线上的观察值与预测值之间的距离总和达到 最小 – 最小二乘法(利用最小二乘法拟和的回归直线与样本数 据点在垂直方向上的偏离程度最低)4一元线性回归分析(一)一元回归方程: – y=β0+β1x – β0为常数项；β1为y对x回归系数，即:x每变动一个单位所引 起的y的平均变动 (二)一元回归分析的步骤 – 利用样本数据建立回归方程 – 回归方程的拟和优度检验 – 回归方程的显著性检验(t检验和F检验) – 残差分析 – 预测5一元线性回归方程的检验(一)拟和优度检验: (1)目的:检验样本观察点聚集在回归直线周围的密集程度 ，评价回归方程对样本数据点的拟和程度。

2)思路: • 因为: 因变量取值的变化受两个因素的影响 • 自变量不同取值的影响 • 其他因素的影响• 于是: 因变量总变差=自变量引起的+其他因素引起的 • 即: 因变量总变差=回归方程可解释的+不可解释的 • 可证明:因变量总离差平方和=回归平方和+剩余平方和6一元线性回归方程的检验(一)拟和优度检验:(3)统计量：判定系数 – R2=SSR/SST=1-SSE/SST. – R2体现了回归方程所能解释的因变量变差的比例;1-R2则体 现了因变量总变差中，回归方程所无法解释的比例 – R2越接近于1，则说明回归平方和占了因变量总变差平方和的 绝大部分比例，因变量的变差主要由自变量的不同取值造成 ，回归方程对样本数据点拟合得好 – 在一元回归中R2=r2; 因此，从这个意义上讲，判定系数能够 比较好地反映回归直线对样本数据的代表程度和线性相关性 7一元线性回归方程的检验(二)回归方程的显著性检验：F检验 (1)目的:检验自变量与因变量之间的线性关系是否显著,是否可用 线性模型来表示. (2)H0: β =0 即:回归系数与0无显著差异 (3)利用F检验,构造F统计量:– F=平均的回归平方和/平均的剩余平方和~F(1,n-1-1) – 如果F值较大，则说明自变量造成的因变量的线性变动远大于随机因素 对因变量的影响,自变量于因变量之间的线性关系较显著 (4)计算F统计量的值和相伴概率p (5)判断 – pregression->linear… (2)选择一个变量为因变量进入dependent框 (3)选择一个变量为自变量进入independent框 (4)enter:所选变量全部进入回归方程(默认方法) (5)对样本进行筛选(selection variable)– 利用满足一定条件的样本数据进行回归分析 (6)指定作图时各数据点的标志变量(case labels)11一元线性回归分析操作(二) statistics选项 (1)基本统计量输出 – Estimates:默认.显示回归系数相关统计量. – confidence intervals:每个非标准化的回归系数95% 的置信区间. – Descriptive:各变量均值、标准差和相关系数单侧检 验概率. – Model fit:默认.判定系数、估计标准误差、方差分析 表、容忍度 (2)Residual框中的残差分析 – Durbin-waston:D-W值 – casewise diagnostic:异常值(奇异值)检测 (输出预测 值及残差和标准化残差)12一元线性回归分析操作(三)plot选项:图形分析. • Standardize residual plots:绘制残差序列直 方图和累计概率图,检测残差的正态性 • 绘制指定序列的散点图,检测残差的随机性、异 方差性 – ZPRED:标准化预测值 – ZRESID:标准化残差 – SRESID:学生化残差 – produce all partial plot:绘制因变量和所 有自变量之间的散点图13线性回归方程的残差分析(一)残差序列的正态性检验:– 绘制标准化残差的直方图或累计概率图 (二)残差序列的随机性检验 – 绘制残差和预测值的散点图,应随机分布在经过零的一条直 线上下14线性回归方程的残差分析线性回归方程的残差分析(三)残差序列独立性检验: –残差序列是否存在后期值与前期值相关的现象,利用 D.W(Durbin-Watson)检验 –d-w=0:残差序列存在完全正自相关;d-w=4:残差序列 存在完全负自相关;0=100 严 重28线性回归分析中的异方差问题(一)什么是差异方差 – 回归模型要求残差序列服从均值为0并具有相同方 差的正态分布,即:残差分布幅度不应随自变量或因 变量的变化而变化.否则认为出现了异方差现象 (二)差异方差诊断 – 可以通过绘制标准化残差序列和因变量预测值(或 每个自变量)的散点图来识别是否存在异方差 (三)异方差处理 – 实施方差稳定性变换 •残差与yi(预测值)的平方根呈正比：对yi开平方 •残差与yi(预测值)呈正比:对yi取对数. •残差与yi(预测值)的平方呈正比,则1/yi 29多元线性回归分析操作(一)基本操作步骤 (1)菜单选项: analyze->regression->linear… (2)选择一个变量为因变量进入dependent框 (3)选择一个或多个变量为自变量进入independent框 (4)选择多元回归分析的自变量筛选方法: – enter:所选变量全部进入回归方程(默认方法) – remove:从回归方程中剔除变量 – stepwise:逐步筛选；backward:向后筛选； forward:向前筛选 (5)对样本进行筛选(selection variable) – 利用满足一定条件的样本数据进行回归分析 (6)指定作图时各数据点的标志变量(case labels)30多元线性回归分析操作(二) statistics选项 (1)基本统计量输出 – Part and partial correlation:与Y的简单 相关、偏相关和部分相关 – R square change:每个自变量进入方程后 R2及F值的变化量 – Collinearity dignostics:共线性诊断.31多元线性回归分析操作(三)options选项: • stepping method criteria:逐步筛选法参数设置.– use probability of F:以F值相伴概率作为变量进入和剔除方程的标准.一个变量的F值显著性水平小于entry(0.05)则进入方程;大于removal(0.1)则剔除出方程.因此:Entryregression->curve estimation (3) 选择因变量到dependent框 (4) 选择自变量到independent框或选time以时 间作自变量 (5)选择模型 (R2最高拟和效果最好)34曲线估计(curve estimate)(四)其他选项 (1)display ANOVA table:方差分析表 (2)plot models:绘制观察值和预测值的对比图. (3)save选项: – predicted values:保存预测值. – Residual:保存残差值. – prediction interval:保存预测值的默认95%的可置信区间. – Predict case:以time作自变量进行预测. • Predict from estimation period through last case:计算保存所 有预测值. • Predict through :如果预测周期超过了数据文件的最后一个观测期, 选择此项,并输入预测期数.35• 线性回归分析的内容 – 能否找到一个线性组合来说明一组自变量和因变量 的关系 – 如果能的话，这种关系的强度有多大，也就是利用 自变量的线性组合来预测因变量的能力有多强 – 整体解释能力是否具有统计上的显著性意义 – 在整体解释能力显著的情况下，哪些自变量有显著 意义 • 回归分析的一般步骤 – 确定回归方程中的解释变量（自变量）和被解释变 量（因变量） – 确定回归方程 – 对回归方程进行各种检验 – 利用回归方程进行预测9.1 线性回归分析概述368.4.2 线性回归模型一元线性回归模型的数学模型：其中x为自变量；y为因变量； 为 截距，即常量； 为回归系数，表明自 变量对因变量的影响程度。

37用最小二乘法求解方程中的两个参数 ，得到：38多元线性回归模型多元线性回归方程：y=β0+β1x1+β2x2+.+βkxk – β1、β2、βk为偏回归系数 – β1表示在其他自变量保持不变的情况下，自 变量x1变动一个单位所引起的因变量y的平 均变动398.4.3 线性回归方程的统计检验 l8.4.3.1回归方程的拟合优度回归直线与各观测点的接近程度称为回归方程的拟合优度，也就是样本观测值聚集在回归线周围的紧密程度 1、离差平方和的分解：建立直线回归方程可知：y的观测值的总变动可由 来反映，称为总变差引起总变差的原因有两个：n由于x的取值不同，使得与x有线性关系的y值不同；n随机因素的影响40xy41总离差平方和可分解为即：总离差平方和（SST)=剩余离差平方和(SST) +回归离差平方和（SSR)其中；SSR是由x和y的直线回归关系引起的，可以由回归直线做出解释；SSE是除了x对y的线性影响之外的随机因素所引起的Y的变动，是回归直线所不能解释的422、可决系数（判定系数、决定 系数）回归平方和在总离差平方和中所占的比例可以作为一个统计指标，用来衡量X与Y 的关系密切程度以及回归直线的代表性好坏，称为可决系数。

n对于一元线性回归方程：43n对于多元线性回归方程：在多元线性回归分析中，引起判定系数增加的原因有两个 ：一个是方程中的解释变量个数增多，另一个是方程中引入了 对被解释变量有重要影响的解释变量如果某个自变量引入方 程后对因变量的线性解释有重要贡献，那么必然会使误差平方 和显著减小，并使平均的误差平方和也显著减小，从而使调整 的判定系数提高所以在多元线性回归分析中，调整的判定系 数比判定系数更能准确的反映回归方程的拟合优度44• 8.4.3.2回归方程的显著性检验（方差分析F 检验）回归方程的显著性检验是要检验被解释变量与 所有的解释变量之间的线性关系是否显著 n 对于一元线性回归方程，检验统计量为：n 对于多元线性回归方程，检验统计量为：45• 8.4.3.3回归系数的显著性检验（t检验）回归系数的显著性检验是要检验回归方程中被 解释变量与每一个解释变量之间的线性关系是否显著 n 对于一元线性回归方程，检验统计量为：46n 对于多元线性回归方程，检验统计量为：47• 8.4.3.4残差分析残差是指由回归方程计算得到的预测值与实际样 本值之间的差距，定义为：对于线性回归分析来讲，如果方程能够较好的 反映被解释变量的特征和规律性，那么残差序列中应 不包含明显的规律性。

残差分析包括以下内容：残差 服从正态分布，其平均值等于0；残差取值与X的取 值无关；残差不存在自相关；残差方差相等 481、对于残差均值和方差齐性检验可以。