数学建模之逐步回归分析(精品讲义).pdf

旗开得胜 读万卷书 行万里路 1 第 6 节 逐步回归分析 逐步回归分析实质上就是建立最优的多元线性回归方程，显然既 实用而应用又最广泛 6.1 逐步回归分析概述 1 概念 逐步回归模型是以已知地理数据序列为基础， 根据多元回归分析 法和求解求逆紧凑变换法及双检验法而建立的能够反映地理要素之 间变化关系的最优回归模型 逐步回归分析是指在多元线性回归分析中， 利用求解求逆紧奏变换 法和双检验法， 来研究和建立最优回归方程的并用于地理分析和地理决 策的多元线性回归分析 它实质上就是多元线性回归分析的基础上派生 出一种研究和建立最优多元线性回归方程的算法技巧主要含义如下： 1）逐步回归分析的理论基础是多元线性回归分析法； 2）逐步回归分析的算法技巧是求解求逆紧奏变换法； 3）逐步回归分析的方法技巧是双检验法，即引进和剔除检验法； 4）逐步回归分析的核心任务是建立最优回归方程； 5）逐步回归分析的主要作用是降维 旗开得胜 读万卷书 行万里路 2 主要用途：主要用于因果关系分析、聚类分析、区域规划、综合评 价等等 2 最优回归模型 1）概念 最优回归模型是指仅包含对因变量有显著影响的自变量的回归方 程。

逐步回归分析就是解决如何建立最优回归方程的问题 2）最优回归模型的含义 最优回归模型的含义有两点： （1）自变量个数 自变量个数要尽可能多， 因为通过筛选自变量的办法， 选取自变量 的个数越多，回归平方和越大，剩余平方和越小，则回归分析效果就越 好，这也是提高回归模型分析效果的重要条件 （2）自变量显著性 自变量对因变量 y 有显著影响， 建立最优回归模型的目的主要是用 于预测和分析， 自然要求自变量个数尽可能少， 且对因变量 y 有显著影 响若自变量个数越多，一方面预测计算量大，另一方面因 n 固定，所 以 Q S kn Q 1 增大，即造成剩余标准差增大，故要求自变量个数要适 中 且引入和剔除自变量时都要进行显著性检验， 使之达到最优化状态， 旗开得胜 读万卷书 行万里路 3 所以此回归方程又称为优化模型 3 最优回归模型的选择方法 最优回归模型的选择方法是一种经验性发展方法， 主要有以下四种： (1）组合优选法 组合优选法是指从变量组合而建立的所有回归方程中选取最优着 其具体过程是： （1）建立变量组合的所有回归方程 （2）优选回归方程 首先对每一个方程及自变量均作显著性检验， 优选原则： 自变量全 部显著，剩余标准差较小，既可选得最优回归方程。

2）剔除优选法 剔除优选法适指从包含全部自变量的回归方程中逐个剔除不显著 自变量而求得最优回归方程的优选方法其具体过程是： （1）建立多元回归方程 （2）优选回归方程 剔除自变量的原则是先求取偏回归平方和最小者并作显著性检验， 若不显著则剔除 终止原则是直至不显著自变量剔除完为至， 而仅保留 对因变量 y 有显著影响的自变量 3)引入优选法 旗开得胜 读万卷书 行万里路 4 引入优选法是指将所有自变量经显著性检验而逐个引入对因变量 有显著影响的自变量的优选方法其具体过程是： （1）建立一元回归方程 （2）优选回归方程 引入原则是偏相关系数绝对值最大者，引入后并进行显著性检验， 若显著则继续引进自变量，直至再无显著自变量引进为止 4）逐步回归分析法 逐步回归分析法是指运用回归分析原理采用双检验原则， 逐步引入 和剔除自变量而建立最优回归方程的优选方法具体含义是： （1）每步有二个过程 即引进变量和剔除变量，且引进变量和剔 除变量均需作 F 检验后方可继续进行，故又称为双重检验回归分析法 （2）引入变量 引入变量的原则是未引进变量中偏回归平方和最 大者并经 F 显著性检验，若显著则引进，否则终止。

（3）剔除变量 剔除原则是在引进的自变量中偏回归平方和最小 者，并经 F 检验不显著，则剔除 （4）终止条件 即最优条件，再无显著自变量引进，也没有不显 著自变量可以剔除，这也是最优回归方程的实质 由此可知， 它并没新的理论， 只是多元回归分析基础上派生出的一 种算法技巧现在就来介绍逐步回归分析的具体建模原理和方法步骤 旗开得胜 读万卷书 行万里路 5 6.2 逐步回归分析的数学模型 逐步回归分析的数学模型是指仅包含对因变量 Y 有显著影响自 变量的多元线性回归方程为了利于变换求算和上机计算，将对其变 量进行重新编号并对原始数据进行标准化处理 6.2.1 变量重新编号 1 新编号数学模型 令 k xy =，自变量个数为 k-1，则其数学模型为： 113322110 ... +++++= kkk xxxxx 式中，=1，2，3， ，n n：样本个数 其中： = 2 )( kk xxS = 2 )( kkU xxS == 2 )( kkUQ xxSSS j x的偏回归平方和为： jj j U c b S= k x：为 k x的算术平均值 j b： j x的偏回归系数 旗开得胜 读万卷书 行万里路 6 jj c：为逆矩阵 1 L对角线对应元素 2 回归数学模型 新编号的回归数学模型为： 113322110 ... +++++= kkk xbxbxbxbbx 6.2.2 标准化数学模型 标准化回归数学模型是指将原始数据进行标准化处理后而 建立的回归数学模型， 即实质上是每个原始数据减去平均值后再除以 离差平方和的方根。

1 标准化回归数学模型 令 j jj j S xx z = j=1，2，3， ，k 其中： = = n jj x n x 1 1 == 2 )( jjjjj xxlS ！为离差平方和的方根 注意： jjjjjj SSll,,, 2 它们之间的区别，即离差平方和，离差平方 和的方根，方差，标准差 则回归数学模型为： 113322110 ... +++++= kkk zzzzz 2 标准化回归数学模型的正规方程组 旗开得胜 读万卷书 行万里路 7 标准化回归数学模型正规方程组的一般形式为： ()()()() ()()()()() ()()()()() ()()()()() ()()()()() =+++++ =+++++ =+++++ =+++++ =+++++ kkkkkkkk kkk kkk kkk kkk zzzzzzzzzz zzzzzzzzzz zzzzzzzzzz zzzzzzzzzz zzzzzn 11 2 131321211101 31133 2 323213103 21123322 2 212102 11113312211 2 101 113322110 ... ............................................................................................................................................... ... ... ... ... 因为，0 )( = = j j j S xx z ， ji ji jjii ji r SS xxxx z= = ))(( 所以上述正规方程组可变为： =+++++ =+++++ =+++++ =+++++ =+++++ kkkkkkkk kkk kkk kkk rrrrr rrrrr rrrrr rrrrr n 1111331221111 3113333232131 2112323222121 1111313212111 0 ...0 .............................................................. ...0 ...0 ...0 00...000 这样，数据标准化处理后的估计值 0，并令，则可得数据标准化 处理后的回归方程数学模型的正规方程组的一般形式为： =++++ =++++ =++++ =++++ kkkkkkkk kkk kkk kkk rrrrr rrrrr rrrrr rrrrr 1111331221111 3113333232131 2112323222121 1111313212111 ... ............................................................ ... ... ... 这样，数据标准化后 0 的估计值应为 0，并 jj d=令，则可得： 旗开得胜 读万卷书 行万里路 8 =++++ =++++ =++++ =++++ kkkkkkkk kkk kkk kkk rdrdrdrdr rdrdrdrdr rdrdrdrdr rdrdrdrdr 1111331221111 3113333232131 2112323222121 1111313212111 ... ............................................................ ... ... ... 其中: = 112111 122221 111211 ... ............ ... ... kkkk k k rrr rr rrr R 称为相关系数矩阵。

= kk k k r r r B 1 2 1 解此方程组， 即可求出 1321 ,,,, k dddd， 故可得标准化后的回归模 型为： 112211 ... +++= kkk zdzdzdz 标准化的回归模型的矩阵形式： = 1 11 2 22 1 11 1 113 2 232 1 131 1 112 2 222 1 121 1 111 2 212 1 111 1 1 1 1 k kknnn k kk k kk k kk S xx S xx S xx S xx S xx S xx S xx S xx S xx S xx S xx S xx X 旗开得胜 读万卷书 行万里路 9 = k knk k kk k kk k kk S xx S xx S xx S xx Y 3 2 1 = == R n rrr rrr rrr n XXA kkkk k k 0 0 0 0 0 000 112111 122221 111211 6.2.3 标准化前后回归模型的关系 1 标准化前后的回归模型 1）标准化前后回归模型为： 113322110 ... +++++=。