第八章 回归的正交设计.ppt

单击此处编辑母版标题样式,,单击此处编辑母版文本样式,,第二级,,第三级,,第四级,,第五级,,,*,第八章 回归的正交设计,,regressive- orthogonal designs,,1,回归设计的基本概念,,2,一次回归正交设计,,3,二次回归的中心组合设计,,4,二次回归正交设计,,5,二次回归旋转设计,,1,回归设计的基本概念,,,,回归设计（也称为响应曲面设计,---,通过安排一个合理的正交试验，以建立相应的回归模型，借以进行统计分析，按多项式回归模型的次数可分为一次回归的正交设计和二次回归的正交设计回归正交设计集中了,回归分析,和,正交设计,的优点，一方面利用正交表设计试验方案，减少试验次数，获得比较好的试验条件，得到满意的试验数据；另一方面利用最小二乘法，建立考核指标与自变量之间的经验公式、试验设计、数据整理、回归方程的建立以及回归方程显著性检验等统一起来加以考虑按照回归方程中自变量的次数，回归正交设计分为一次回归正交设计和多次回归正交设计等目的是寻找试验指标与各因子间的定量规律，考察的因子都是定量的 它是在多元线性回归的基础上用主动收集数据的方法获得具有较好性质的回归方程的一种试验设计方法。

本章主要介绍,Box,的回归设计方法及其应用，并假定读者已具有多元线性回归分析的基础知识为了符号上的统一 ，在,13.1.2,中列出了回归分析中的主要公式13.1.1,,多项式回归模型,,,在一些试验中希望建立指标,y,与各定量因子 （又称变量） 间相关关系的定量表达式，即回归方程，以便通过该回归方程找出使指标满足要求的各因子的范围,,可以假定,y,与 间有如下关系：,,,,这里 是 的一个函数，常称为响应函数，其图形也称为响应曲面；,,是随机误差，通常假定它服从均值为,0,，方差为 的正态分布在上述假定下， 可以看作为在给定 后指标的均值，即,,,,,,,称,z,的可能取值的空间为因子空间我们的任务便是从因子空间中寻找一个点,z,0,使,E(,y,),满足质量要求当,f,的函数形式已知时，可以通过最优化的方法去寻找,z,0,在许多情况下,f,的形式并不知道，这时常常用一个多项式去逼近它，即假定：,,,这里各 为未知参数，也称为回归系数，通常需要通过收集到的数据对它们进行估计。

若用 表示相应的估计，则称,,为,y,关于 的多项式回归方程在实际中常用的是如下的一次与二次回归方程（也称一阶与二阶模型）：,,一般,p,个自变量的,d,次回归方程的系数个数为,,,13.1.2,,多元线性回归,,,,(13.1.1,),是一个多项式回归模型，在对变量作了变换并重新命名后也可以看成是一个多元线性回归模型1,．回归模型,,,设所收集到的,n,组数据为,,,,假定回归模型为：,,,,,,记随机变量的观察向量为,,,,未知参数向量为,,,,不可观察的随机误差向量为,,,,结构矩阵,,,,那么上述模型可以表示为：,,或,,,2,．回归系数的最小二乘估计,,,估计回归模型中回归系数的方法是最小二乘法记回归系数的最小二乘估计（,LSE,）,为 ，应满足如下正规方程组：,,,,当 存在时，最小二乘估计为,,,,在求得了最小二乘估计后，可以写出回归方程：,,,今后称 为正规方程组的系数矩阵， 为正规方程组的常数项向量， 为相关矩阵。

在模型（,13.1.5,）下，有,,,,,,,若记 ，那么,,在通常的回归分析中，由于,C,非对角阵，所以各回归系数间是相关的：,,,,3,．对回归方程的显著性检验,,,对回归方程的显著性检验是指检验如下假设：,,,H,0,：,,,H,1,：,不全为,0,,检验方法是作方差分析记,,则有平方和分解式,,,,,其中,,为残差平方和，自由度为,,为回归平方和，自由度为,,当,H,0,为真时，有,,,,,对于给定的显著性水平 ，拒绝域为 若记,p,+1,维向量 ，那么,,,,4,．失拟检验,,,当在某些点有重复试验数据的话，可以在检验回归方程显著性之前，先对,y,,的期望是否是 的线性函数进行检验，这种检验称为失拟检验，它要检验如下假设：,,,H,0,：,,,H,1,：,,当在 上有重复试验或观察时，将数据记为,,,,其中至少有一个 ，记 此时残差平方和可进一步分解为组内平方和与组间平方和，其中组内平方和就是误差平方和，记为 ，组间平方和称为失拟平方和，记为 ，即：,,,,,,，,，,，,,，,,检验统计量为,,,,在,H,0,为真时， ，对于给定的显著性水平 ，拒绝域为,,,,,当拒绝,H,0,时，需要寻找原因，改变模型，否则认为线性回归模型合适，可以将,S,e,与,S,Lf,合并作为,S,E,检验方程是否显著。

其中,,,5,．,对回归系数的显著性检验,,,当回归方程显著时，可进一步检验某个回归系数是否为,0,，也即检验如下假设：,,,,,此种检验应对,j,=1,2,…,,p,逐一进行常用的检验方法是,t,检验或等价的,F,检验，,F,检验统计量为：,,,,其中 是 中的第,j,+1,个对角元记分子为 ，即 ，它是因子 的偏回归平方和,,分母是模型中 的无偏估计 也称为 的标准误，即其标准差的估计当,H,0j,为真时，有 给定的显著性水平 ，当 时拒绝假设,H,0j,，,即认为 显著不为零，否则可以将对应的变量从回归方程中删除注：当有不显著的系数时，一般情况下一次只能删除一个,F,值最小的变量，重新计算回归系数，再重新检验通常要到余下的系数都显著时为止13.1.3,,回归分析对数据的处理由被动变主动,,,古典的回归分析方法只是被动地处理已有的试验数据，对试验的安排不提任何要求，对如何提高回归方程的精度研究很少后果：,,（,1,）盲目增加试验次数，而这些试验结果还不能提供充分的信息，以致在许多多因子试验问题中达不到试验目的。

2,）对模型的合适性有时无法检验，因为在被动处理数据时在同一试验点上不一定存在重复试验数据为了适应寻求最佳工艺、最佳配方、建立生产过程的数学模型等的需要，人们就要求以较少的试验次数建立精度较高的回归方程为此，要求摆脱古典回归分析的被动局面，主动把试验的安排、数据的处理和回归方程的精度统一起来考虑，即根据试验目的和数据分析的要求来选择试验点，不仅使得在每一个试验点上获得的数据含有最大的信息，从而减少试验次数，而且使数据的统计分析具有一些较好的性质这就是二十世纪五十年代发展起来的“回归设计”所研究的问题回归设计的分类：,,根据建立的回归方程的次数不同，回归设计有一次回归设计、二次回归设计、三次回归设计等；,,根据设计的性质又有正交设计、旋转设计等本章仅介绍一次回归的正交设计与二次回归的组合设计（包括正交设计与旋转设计）12.1.4,因子水平的编码,,,在回归问题中各因子的量纲不同，其取值的范围也不同，为了数据处理的方便，对所有的因子作一个线性变换，使所有因子的取值范围都转化为中心在原点的一个“立方体”中，这一变换称为对因子水平的编码方法如下：,,设因子 的取值范围为：,,,，,,,与 分别称为因子 的下水平与上水平。

其中心也称为零水平：,,,，,,,因子的变化半径为,,,，,,,令,,,，,,此变换式就称为“编码式”例,13.1.1,,为提高某食品包装袋的撕裂强度，考察其中橡胶成分的百分比、树脂成分的百分比及改良剂的百分比三个因子对其的影响，这三个因子的取值范围分别为：,,,,对其作编码，令,,,,,通过上述变换后，编码空间为中心在原点的立方体，其边长为,2,在后面我们将会看到，在编码时，有时立方体的边长可以大于,2,今后称,x,的可能取值的空间为编码空间我们可以先在编码空间中寻找一个点,x0,使,E(,y,),满足质量要求，然后通过编码式寻找到,z0,13.2,,一次回归正交设计,,,13.2.1,,一次回归正交设计,,,建立一次回归方程的回归设计方法有多种，这里介绍一种常用的方法，它是利用二水平正交表来安排试验的设计方法其主要步骤如下：,,,1,．确定因子水平的变化范围,,,设影响指标,y,的因子有,p,个 ，希望通过试验建立,y,关于 的一次回归方程，那么首先要确定每个因子的变化范围，设因子 的取值范围为：,,,,，,,,这里 与 分别是因子 的下水平与上水平。

2,．对每一因子的水平进行编码,,,记因子 的零水平为,,,,其变化半径为,,,,那么采用如下编码式，即,,,,，,,对因子的水平进行编码，常列成如下的因子水平编码表：,,,,,3,．选择适当的二水平正交表安排试验,,,在用二水平正交安排试验时，要用“,-1”,代换通常二水平正交表中的“,2”,，以适应因子水平编码的需要这样一来，正交表中的“,1”,与“,-,1”,不仅表示因子水平的不同状态，也表示了因子水平的数量大小经过这样的代换后，正交表的交互作用列可以由表中相应列的对应元素相乘得到，从而交互作用列表也不需要了表,13.2.2,就是一张代换后的,L,8,(2,7,),，,与原来的正交表没有本质区别，仍然用,L,8,(2,7,),表示表的选择仍然同正交设计一样，既要考虑因子的个数，有时还要考虑交互作用的个数在改造后的正交表中，若用 表示第,i,号试验第,j,个因子,x,j,的取值，那么,,,,,,,,称具有上述性质的设计称为正交设计13.2.2,,数据分析,,,在一次回归的正交设计中记第,i,号试验结果为,y,i,，,i,=1,2,…,n,，,此时我们假定的模型是,,,,,,我们要建立,y,关于 的一次回归方程,,,,,可采用回归分析中的最小二乘估计去估计各个回归系数，并对回归方程及回归系数进行显著性检验，最后给出回归方程。

在一次回归的正交设计中有关计算十分简单，可以用列表的方法完成1.,求回归系数的估计,,用最小二乘估计求回归系数的估计结构矩阵,,,由于,X,中的元素不是,1,就是,-1,，所以每列元素的平方和为,n,，,又考虑到此为正交设计，故正规方程组的系数矩阵为对角阵：,,,从而,又记 ，其中,,那么回归系数的最小二乘估计为,,即,,由于,C,是对角阵，所以各回归系数间不相关这将为回归方程与系数的检验带来方便，并且在删除变量后回归系数不需重新计算具体计算可以列表进行（见表,12.2.2,）2,．回归方程的显著性检验,,,对回归方程的显著性检验的统计量是,,,,,其中,,,,,,,,考虑到 ，故,,,,,具体计算与检验见表,13.2.3,与表,13.2.4,3,．回归系数的显著性检验,,,可以采用,统计量,,,,检验,是否为零其分母是 的无偏估计,,分子是 的偏回归平方和，记为,,那么,,,,注意到回归平方和的计算公式，有,,,,具体计算与检验见表,13.2.3,与表,13.2.4,。

一次回归的正交设计主要运用二水平正交表安排实验，在安排实验时，要对每个因素（Ｚｊ）水平进行编码，即对因素水平的取值做如下线性变换：,,,,,,,,其中：,,,,称为因素的零水平,,,,,称为因素的变化区间,,,,,,,由此建立了,Z,ｊ,与,x,ｊ,,(,ｊ,=1,2…,m,),的对应关系：,,,Z,j,=,Z,j1,与,x,j,=,－,1,相对应；,Z,j,=,Z,j2,与,x,j,=+1,相对应由此知，编码前，因素水平值在区间,[,Z,ｊ,1,,,Z,ｊ,2,],内变化，经编码之后，编码值,x,i,在区间,[-1,，,+1],间变化，将响应值,y,原来对,Z,1,,Z,2……,Zm,的回归问题，转化为,y,对,x,1,,x,2……,xm,的回归问题，只需在编码空间选择试验点进行回归设计经编码之后，所有因素的上水平（,Z,i1,），和下水平（,Z,ｊ,2,）的取值分别变成了,-1,和,1,，那么在任意二水平正交表中因素的,1,水平取值仍为,1,，,2,水平取值为,-1,这样就把普遍的二水平正交表的改造为用于回归正交设计的正交表了（见表,4-32,）经编码改造后的正交表仍具有正交性即,,,,,,,,用改造后的正交表安排试验，使试验数据的统计分析具有一定的优越性质。

经编码之后，所有因素的取值均是,-1,和,1,，它们在所研究的区域内是平等的，使所求的回归系数不受各因素的单位与取值的影响，回归系数的大小，直接反映了该因素影响的大小，回归系数的符号反映了因素影响的性质，而且正交表中因素之间的交互作用列，可直接用表中相应列的对应元素相乘来得到，非常方便由回归式可以确立各因素水平之间的最优搭配例,13.2.1,,硝基蒽醌中某物质的含量,y,与以下三个因子有关：,,,z,1,：,亚硝酸钠（单位：克）,,,z,2,：,大苏打（单位：克）,,,z,3,：,反应时间（单位：小时）,,为提高该物质的含量，需建立,y,关于变量,z,1,，,z,2,，,z,3,的回归方程1,．试验设计,,（,1,）确定因子取值范围，并对它们的水平进行编码,,本例的因子水平编码见表,13.2.5,表,13.2.5,,因子水平编码表,,,因子,,水平 编码值,,z,1,z,2,z,3,,,上水平,+1 9.0 4.5 3,,,下水平,-,1 5.0 2.5 1,,,零水平,0 7.0 3.5 2,,,变化半径,Δ,j,2 1 1,,,（,2,）利用二水平正交表安排试验,,本例有三个因子，即,p,=3,，,为今后可能需要考察因子间的交互作用方便起见，因此选用,L,8,(2,7,),，,将三个因子分别置于第一、二、四列上，从而可得试验计划，并按计划进行试验。

试验计划及试验结果见表,13.2.6,2,．数据分析,,,本例的计算见表,13.2.7,，有关方程与系数的检验见表,13.2.8,在本例中,n,=8,根据表,13.2.7,，可以写出,y,关于,x,1,,x,2,,,x,3,的回归方程为：,,,若取显著性水平为,0.05,，有 ，由于,F>6.59,，,所以上述求得的回归方程是有意义的在显著性水平为,0.05,时， ，由表,13.2.8,知因子,x,2,不显著，其它因子显著在正交回归设计中，当某一变量不显著时，可以直接将它删去，此时不会改变其它的回归系数，也不会改变这些变量的偏回归平方和，这是正交回归设计的一个优点现在将,x,2,从回归方程中删去，最后得各因子均为显著的回归方程是：,,,,将编码式：,,,,代入，得,y,关于,z,1,,,z,3,的回归方程为：,,,,从方程知，当,z,1,，,z,3,增加时，,y,也会相应增加我们把不显著变量的偏回归平方和加到残差平方和中，从而获得方程对应的 的估计在本例中残差平方和变成,,,,因此 的估计为 。

13.2.3,,零水平处的失拟检验,,,上述用一次回归正交设计方法求得一次回归方程是简单、易行的，但是否能真实反映实际呢？由于试验是在各因子的上水平（,+1,）与下水平（－,1,）处进行的，即使模型在这些边界点上拟合得很好，但是在因子编码空间的中心拟合是否也好呢？这可用在零水平处增加若干重复试验，再通过检验来判断设在各因子均取零水平时进行了,m,,次试验，记其试验结果为 ，其平均值为 ，其偏差平方和及其自由度为,,，,,,利用在零水平处的重复试验的检验有两种方法方法,1,：,,当一次回归模型在整个编码空间上都适宜时，则按一次回归方程应有,,,,如今在零水平上进行了,m,次重复试验，其平均值为,,这相当于存在两个正态分布：,,,,,,,要检验这两个正态分布的均值是否相等，即检验,,,,,为此可采用,t,统计量去检验由于 与 独立，因此有,,,,,此外,,,,且两者也独立，从而,,,,,并且 与 独立令,,,,,,,其中,,,在 时，有,,,,对给定的显著性水平 ，当 时认为模型在编码空间的中心也合适，不存在因子的非线性效应，否则需要另外寻找合适的模型，譬如建立二次回归方程，这将在,12.3,中介绍。

方法,2,：,,由于在各因子均取零水平时进行了,m,,次重复试验，因此可以采用,13.1.2,中的失拟检验，将,n,+,m,次试验结果合并在一起进行数据分析，并检验,,,,,,采用统计量,,,,,对给定的显著性水平 ，当 时认为模型合适，否则需要另外寻找合适的模型13.2.4,,含交互作用的模型,,,当变量间存在交互作用时，我们可以更一般地考虑建立含两个因子间交互作用的模型，其交互作用用两个因子的编码值的乘积表示，即可假定有如下的回归模型：,,,,,,只要在回归的一次正交设计中，,,,,n,大于,,,就可以将其看成是,k,元线性回归，并且这,k,项仍然是相互正交的，因此可以在表,12.2.3,中加上诸列，按同样的计算便可求得诸回归系数，并对它们进行检验譬如对例,13.2.1,来讲，我们可以建立如下回归方程：,,,,,系数的估计可以按表,13.2.9,计算对系数与方程的检验见表,13.2.10,若取显著性水平为,0.10,，那么 ，此时所有交互效应与因子,x,2,不显著，结论同上13.2.5,,快速登高法,,,我们进行回归设计目的是要寻找最好的条件，但是在开始进行试验时，可能与最优条件相距甚远，此时需要寻找一条进行试验的路径，使指标值很快达到最大（或最小），快速登高法便是这样一种快速向最优点逼近的方法（若要求指标值小的话，也称最速下降法）。

1 .,快速登高法的基本想法是：,,根据微分学原理，任一多元函数在局部区域内总可以用一个多维平面去近似利用一次回归正交设计可以建立一次回归方程，此时如果要在编码空间中寻找一个点使指标,y,达到最大（或最小），那么这个点总是位于边界上当点越出边界后，指标值是否会更大（或更小）呢？,,为回答这一问题，我们可以采用如下的方法：先在一个小区域上拟合一次回归方程,,,,(13.2.11,),,,再从编码空间的中心出发，沿着,(13.2.11,),的“梯度方向”选择若干个试验点进行试验，以便观察指标,y,的变化，从而寻找使,y,达到更大（或更小）的点这种从编码空间的中心出发，在,(13.2.11,),的梯度方向上安排若干试验点的方法称为快速登高法2.,梯度方向,,一个多元函数 在点 的梯度是一个,p,维向量，其第,j,个分量是,y,关于,x,j,的偏导在该点的值，这一向量所决定的方向便是该点的梯度方向，它是多元函数,y,增长最快的方向对,(13.2.11,),来讲，任意一点的梯度方向是,(b,1,,b,2,,…,,b,p,)’,。

如果因子间存在交互作用，这时建立的回归方程为：,,,,,那么在编码中心,(0,0,,…,,0),的梯度方向仍为,(b,1,,b,2,,,…,,,b,p,)’,3.,快速登高法的试验点,,,记因子 的零水平为 ，变化半径为 ，编码值 的回归系数为 ，沿梯度方向的试验点取为,,,，,,这里,m,是在梯度方向上进行试验的点数在因子空间中，,,，称 为步长为实施试验方便，设置一个步长变化系数,d,，,那么实际试验中的步长变化为 ，,d,的具体确定方法参见例,13.2.2,快速登高法的具体试验点见表,13.2.11,，其示意图见图,13.3.1,图,13.2.1,,快速登高的示意图,,,例,13.2.2,,,一位化学工程师需要确定化工产品收率最大的操作条件他认为影响收率有两个因子（变量）：反应时间,z,1,与反应温度,z,2,，,当前的运行条件是,z,1,=35,（,分钟），,z,2,=155,（℉），,而收率约是,40%,试验与分析的步骤如下：,,,1,．拟合一次回归模型，即建立一次方程：,,,(1),给出两个因子在试验中的变化范围：,,因子水平表,,,(2),用二水平正交表,L,4,(2,3,),安排试验，试验方案与结果如下：,,,(3),建立一次回归方程：,,所得一次回归方程为：,,,对回归方程与回归系数作显著性检验的方差分析表如下：,,若取 ，那么 ，所以方程在显著性水平,0.05,上是显著的，又 ，则两个系数也是显著的。

2,．,检验一次方程的合适性,,为了了解是否存在因子间的交互作用，是否有因子的高次效应，在中心点进行了,m=5,次试验，结果为：,,,40.3,，,40.5,，,40.7,，,40.2,，,40.6,,其平均值为 ，偏差平方和为 ，其自由度,=4,采用方法,1,中的检验统计量,t,作检验现在,，,,，,,,,n=4,，,m=5,，,将它们代入后有,,,,,若取 ，那么 ，由于,|t|<2.5706,，,因此在,0.05,水平认为所得到的一次方程是合适的若采用方法,2,，我们可以将九个试验结果合并在一起建立方程，用,13.1.2,中的公式，可得到如下方程：,,,,此方程的残差平方和为,S,E,=0.1772,，,再将它分解为纯误差与失拟两个偏差平方和：,,,,它们的自由度分别为,4,与,2,，作,F,检验得,F,Lf,=0.06,，,取 ，那么 ，由于,F,Lf,<19.2,，,这表明回归函数是线性的，再用残差平方和对方程作检验，得到,F=47.82,，,取 ，那么 ，由于,F>5.14,，,说明方程是合适的。

3,．给出快速登高的方向与试验点：,,在本例中，,z,1,的变化以,5,作步长变化为方便，则步长系数,d,可取为：,,,,那么各因子步长变化及其修匀值见表,13.2.16,，试验计划及试验结果见表,13.2.17,表,13.2.16,,快速登高参数,,,,,从上面的试验结果可以看出，在,z,1,=85,（,分钟），,z,2,=175,（℉）,附近结果较好，那么可以以该点为中心，重新设计一个一次回归的正交设计，重复上述过程，直到找到最佳的或满意的最大值为止；也可以该试验条件作为中心点，安排二次回归设计，关于二次回归设计方法见下一节注：在列出快速登高计划后，不一定按顺序一一试验，可选做其中的若干个，只要,y,在不断增大即可13.2.6,,一次回归正交设计的旋转性,,,1.,旋转性,：,若一个设计在离设计中心距离相等的点上，其预测值的方差相等，则称该设计为旋转设计,由于方差相等可减少对预测的干扰，因此旋转性颇受人们的关注2.,一次回归的正交设计具有旋转性,,在上面介绍的设计中，利用（,13.1.10,）与（,13.1.11,）有,,,,且 互不相关，因此预测值的方差为：,,,,,现在编码空间中心点的坐标为,(0,0,…,0),，记点,(,x,1,,,x,2,,…,,x,p,),离中心的距离记为 ，则,,,,从而在离中心距离为的点上预测值的方差相等，仅与 有关，其值为：,,,,这就表明一次回归的正交设计具有旋转性。

13.3,,二次回归的中心组合设计,,,一、中心组合设计方案,,,中心组合设计中的试验点由三部分组成：,,（,1,）将编码值,-1,与,1,看成每个因子的两个水平，如同一次回归的正交设计那样，采用二水平正交表安排试验，可以是全因子试验，也可以是其,1/2,实施，,1/4,实施等记其试验次数为,m,c,，则,m,c,=,，,或 （,1/2,实施）、 （,1/4,实施）等2,）在每一因子的坐标轴上取两个试验点，该因子的编码值分别为,-,与 ，其它因子的编码值为,0,由于有,p,个因子，因此这部分试验点共有,2p,个常称这种试验点为星号点3,）在试验区域的中心进行,m,0,次重复试验，这时每个因子的编码值均为,0,譬如,p=2,的中心组合设计方案是：,,,,,,,,,,,,,,试验点分布的图示为：,,,,二、中心组合设计方案的特点,,该方案总试验次数,n,为：,,,,每个因子（变量）都可取,5,个水平，故该方案所布的试验点范围较广该方案还有较大的灵活性，因为在方案中留有两个待定参数,m,0,（,中心点的试验次数）和 （星号点的位置），这给人们留下活动余地，使二次回归设计具有正交性、旋转性等成为可能。

中心点处的,m,0,次重复，使试验误差较为准确估计成为可能，从而使对方程与系数的检验有了可靠依据13.4,,二次回归正交设计,,,如果一个设计具有正交性，则数据分析将是十分方便的，又由于所得的回归系数的估计间互不相关，因此删除某些因子时不会影响其它的回归系数的估计，从而很容易写出所有系数为显著的回归方程我们可以适当选择,m,0,与,,使二次回归中心组合设计具有正交性13.4.1,,二次中心组合设计的结构矩阵,X,与系数矩阵,,,p=2,的中心组合设计回归模型的结构式为,,,结构矩阵如下：,,,x,0,x,1,x,2,x,1,x,2,(,x,1,),2,(,x,2,),2,,,,这里,m,c,=4,，,2,p,=4,，则,n,=,m,c,+2,p,+,m,0,=8+,m,0,，,再记,,,,那么,,,,一般情况下有,,其中 ， 表示元素均为,1,的,u,维列向量， 表示为行向量， 表示,u,阶单位阵， 表示,u,行,v,列的矩阵，其元素均为,1,， ，,G,是,p,阶对称方阵，其对角元均为,，,非对角元均为,m,c,，,即,,,13.4.2,,正交性的实现,,,要使中心组合设计具有正交性，就要求 为对角阵。

首先利用“中心化”变换使诸平方项列的和为,0,，为此把列的元素减去该列的均值，即令,,,,从而此时的 阵为：,,这里,GG,是,p,阶对称方阵：,,,其中的对角元 为 列元素的平方和，且都相等，记为 ：,,,,,非对角元,g,为 与 （ ）对应元素的乘积和，,,,,(13.4.7,),,为使设计成为正交的只要设法使,g,=0,由于在,g,中,m,c,是给定的，，,n=m,c,+2p+m,0,，,所以在给定了,m,0,后，,g,只是 的函数：,,,,因此可以适当选取 使,g,=0,对不同的因子个数,p,与中心点重复次数,m,0,，,对应的值见表,13.4.1,表,13.4.1,,二次回归正交设计的参数 值表,,,13.4.3,,统计分析,,,1,．回归系数的估计,,,在对 列作了中心化变换后，我们可以首先建立,y,,关于诸 的回归方程：,,现在 为对角阵，从而其逆矩阵十分简单：,,,再记 ，其中,,,,,,则,,,,,具体计算见表,13.4.2,。

2,．对回归方程与回归系数的检验,,,由于是正交设计，有诸 的偏回归平方和为,,,,,回归平方和为,,,，,,仍然用 表示总平方和，其自由度为 ，则残差平方和为,,，,,其检验可在表,13.4.3,上进行若在中心点上有重复试验的话，还可以进一步对 进行分解：,,，,,记在中心点上的试验结果为 ，其平均值 ，则,,,,,,,可对二次回归模型的合适性进行检验例,13.4.1,,为提高钻头的寿命，在数控机床上进行试验，考察钻头的寿命与钻头轴向振动频率,F,及振幅,A,的关系在试验中，,F,与,A,的变动范围分别为：,[125 Hz,，,375Hz],与,[1.5,，,5.5],，采用二次回归正交组合设计，并在中心点重复进行三次试验1,．对因子的取值进行编码,,现在有两个因子，即,p=2,，,现在中心点进行三次试验，即,m,0,=3,，,则有表,12.4.1,上查得此二次回归正交组合设计中的,=1.148,若因子,z,j,,的取值范围为,[ ],，则令 的编码值分别为,-,,,，那么零水平为：,,,,变化半径为：,,,,编码值,-,1,与,1,分别对应于：,,,与,,,在本例中因子,F,与,A,的零水平分别是,250,3.5;,它们的变化半径分别是,109,1.74.,,,因子编码值见表,13.4.4,。

2,．试验计划与试验结果,,本例的试验计划见表,13.4.5,，在试验随机化后所得试验结果列在该表的最右边一列表,13.4.5,,试验计划与试验结果,,,,,3,．参数估计,,为求出,y,关于 的二次回归方程，首先将 与 列中心化，即令 在本例中：,,,,,,则,,，,(13.4.16,),,此时 回归系数的估计见表,13.4.6,4.,模型、方程及系数的检验,,,本例中由于在中心点有,3,次重复试验，所以在给出所得到的回归方程之前，先对模型的合适性、方程及系数作显著性检验：,,中心点上,3,次试验结果的平均值为,=206,，由此求得纯误差平方和,,,S,e,=1026,，,,从而失拟平方和为：,,,S,Lf,=1281.53-1026=255.53,，,,失拟检验的统计量为：在 时， ，所以认为模型合适有关方程与系数的检验见表,13.4.7,由于,，,所以认为方程显著又,，,,所以 与 的系数在显著性水平,0.05,上是显著的，,x,2,的系数在显著性水平,0.10,上是显著的。

5.,写出二次回归方程并求最佳条件,,我们可以写出在,0.10,水平上各系数都显著的回归方程为：,,再将,(12.4.16),代入，即可得,y,关于,x,1,,,x,2,的二次回归方程：,,,,,最后再将编码式,,,,代入，即可得,y,关于,F,，,A,的二次回归方程：,,,,为延长寿命，可以将回归方程对,F,与,A,分别求导，并令其为零以解出最佳水平组合为,F=291.58,，,A=3.50,，,在该水平组合下，平均寿命的估计是,211.6,13.5,,二次回归旋转设计,,13.5.1,,旋转性条件与非退化条件,,回归正交设计的最大优点是试验次数较少，计算简便，又消除了回归系数间的相关性但是其缺点是预测值的方差依赖于试验点在因子空间中的位置由于误差的干扰，试验者不能根据预测值直接寻找最优区域若能使二次设计具有旋转性，即能使与试验中心距离相等的点上预测值的方差相等，那就有助于克服上述缺点所以试验者常常希望牺牲部分的正交性而获得旋转性，特别在计算机软件发展的今天，计算的不便之处可以交由计算机帮助处理一、旋转性条件,,,在一般的,p,元,d,次回归中，共有 项，此时,正规方程的系数矩阵,,是 阶对称方阵，其中元素的一般形式是,,,,,其中指数 分别可取 等非负整数，且还要满足,,,,A,中的元素也可分成两类：,一类元素，它的所有指数都是偶数或零，另一类元素，它的所有指数中至少有一个为奇数。

在旋转设计中，对这两类元素是有要求的，下面的定理便给出了,A,中元素,的具体结构，是旋转设计的基本要求，称为旋转性条件定理,13.5.1,,在,p,元,d,次回归的旋转设计中对应的,A,中的元素,,,,,,,,其中指数如上所述，,n,是试验次数， ， 是待定参数，下标,a,,必为偶数，且 特例：对,d=1,2,的旋转性条件具体化1,）,d=1,的情况：在一次回归旋转设计，此时,A,中满足,,,,且 都是偶数或零这些条件的，应有,,,,,而,A,中其它元素都是,0,，此时,,,,其中 是,p+1,阶单位阵在,13.2,中给出的一次回归正交设计便是 的一次旋转设计2,）,d=2,的情况：在二次回归旋转设计，此时,A,中满足,,,,且 都是偶数或零这些条件的，有以下几种情况,,这时,,,,,,,这是一个 阶对称方阵，其中 ，,,,,是一个,p,阶对称方阵， 是元素全为,1,的,p,维列向量，空白处为零矩阵， 与 可以根据具体的设计确定。

二、非退化条件,,,为获得二次回归方程中的回归系数的最小二乘估计，需要求 ，因此还要求 由于,,要使 ，必须要,,,,,它提供了作旋转设计时应该避免的情况，称为二次设计的非退化条件13.5.2,,二次旋转设计,,,,这一小节我们具体给出一个中心组合设计要成为二次旋转设计的条件1.,二次设计的旋转性条件,,按定理可以具体给出二次设计的旋转性条件为：,,,若设第,i,个试验点 位于半径为 的球面上，那么,,,,,从而,,,,,,所以,,,,另一方面,,,,,则,,,,,,,所以,,,,这表明 与 平方的比值不仅与因子数,p,、,试验次数,n,有关，还与,n,个试验点所在球面的半径 （ ）有关2.,二次中心组合设计的非退化条件：,,为使设计是非退化的，就要求试验点的分布满足,,,我们可以证明在二次中心组合设计中有：,,,,,,等号成立的唯一条件是,n,个试验点都在同一球面上证明：由于对任意实数 有,,,,这表明,如下二次三项式是非负的：,,,,所以判别式,,,,即,,,,,,,这表明只要,n,个试验点不在同一球面上就有可能获得旋转设计方案。

在中心组合设计方案中,n,个试验点分布在三个不同半径的球面上，其中：,,个点分布在半径为 的球面上；,,,2,p,个点分布在半径为 的球面上；,,个点分布在半径为 的球面上它不会使矩阵,A,退化3.,的选取,,为使设计满足旋转性条件只要适当选取参数 ，在中心组合设计中有：,,,,,,,,因此 ， ，为使设计具有旋转性，则要求,,,,即只要：,,,,,从,中,便可求得 当对中心组合设计提出进一步的要求时，可以确定设计中的另一个参数,m,0,13.5.3,,二次回归正交旋转设计,,,当要求一个设计不仅具有旋转性，还要求保持正交性，或至少是近似正交的这时需要使的非对角线元素全为,0,，那么只需要,(13.4.7,),给出的,g,=0,，,现在,,,,,,,在,g,的表达式中，,m,c,是给定的，现在 也已确定， ，从而,g,只是,m,0,的函数，所以可令,g,=0,解出,m,0,如果解得的,m,0,是整数，则所得设计为正交旋转设计；如果所得解不是整数，则取最接近的整数，这时的设计是近似正交的旋转设计。

二次回归正交（或近似正交）旋转组合设计的参数 与,m,0,见表,13.5.1,表,13.5.1,,二次回归正交旋转组合设计参数,,,13.5.4,,二次回归通用旋转设计,,,所谓一个设计具有通用性是指在与编码中心距离小于,1,的任意点,(,x,1,,,x,2,,,…,,,x,p,),上的预测值的方差近似相等,由于一个旋转设计各点预测值的方差仅与该点到中心的距离,ρ,有关，则,Var,( )=,f,(,ρ,),，,通用设计要求当,ρ,<1,时，,f,(,ρ,),基本为一个常数根据这一要求，可以通过数值的方法来确定,m,0,当一个设计既要具有旋转性又要具有通用性时，设计中的参数与,m,0,见表,12.5.2,13.5.5,,数据分析,,,由于正交旋转设计的数据分析同前面,13.4.3,一样，所以下面仅对通用旋转组合设计的数据分析作一介绍,,,1,．回归系数的估计,,要估计回归系数必须先求出,X’X,的逆矩阵，在二次回归组合设计中，可求得：,,,,根据不同的,p,与实施方案，其中的,K,，,E,，,F,，,G,的值已列成表格供使用（见表,13.5.3,),如果记,X’Y,阵中的元素为：,,,,,则回归系数的估计为：,,,,2,．对回归方程的检验,,,由于在回归系数的估计中未进行中心化变换，因此各类偏差平方和的计算要用下面的公式：,,,,,现在残差平方和的计算可以如下进行：,,,,,从而回归平方和为：,,,,,各类自由度分别为：,,,,,,由于在中心点有,m,0,次重复试验，因此还可将,S,E,分解为：,,,,其自由度分别为：,,,,这样可先检验模型的合适性，所用统计量为,,,,,当模型合适时，再用统计量：,,,,,检验方程的显著性。

3,．对回归系数的显著性检验,,,为对回归系数进行显著性检验，需要诸项 的偏回归平方和及,σ,2,的估计，其公式如下：,,从而检验诸项 系数的统计量依次为：,,,,,,如果有不显著的项，要删去该项，一次只能剔除一项，由于这里不是正交设计，所以回归系数间具有相关性，删除一个变量后，回归系数需要重新计算由于求回归系数的正规方程组的系数矩阵阶数较高，求逆矩阵相当麻烦，通常将这项工作交给计算机协助完成例,13.5.1,,超声波换能器设计中要求灵敏度余量,y,尽量大，而这一指标与以下两个因子有关：,,,z,1,：,保护膜厚度，取值范围为,0.2,～,0.6(mm),,z,2,：,吸收材料之比，取值范围为,4:1,～,7:1,,为减少试验次数并建立精度较高的回归方程，决定采用二次回归通用旋转组合设计1,．对因子的取值进行编码,,在,p,=2,时，从表,13.5.2,查得设计参数为：,,,=1.414,,m,0,=5,,共需进行,n,=13,次试验编码如下：,,,,2,．,试验计划与试验结果,,,本例用编码值表示的试验计划见表,12.5.5,，在试验随机化后所得试验结果列在该表的最右边一列。

3,．参数估计,,（,1,）先求出各 ，它们列在表,13.5.6,的最后一行2,）按公式,(13.5.9,),求回归系数的估计：,,先在表,13.5.3,中查得：,K=0.2,E=-0.1,F=0.14375,G=0.01875,，,又由于,m,c,=4, =1.4142,，,故得,=8,，代入,(13.5.9,),得：,,,b,0,=57, b,1,=1.04105, b,2,= -0.364275, b,12,= -0.125,,,b,11,= -1.59375, b,22,=0.40625,,从而得回归方程为：,,,,,,表,13.5.6,,计算表,,,,4,．,对模型与方程的检验,,为对回归方程作检验，首先要计算各类偏差平方和，有：,,,,,,,由于在中心点重复进行了,5,次试验，中心点试验结果的平均值,=57,，因此还可求出其误差的偏差平方和：,,,,从而失拟平方和为：,,,,,检验模型合适性的,F,比为：,,,,,所以模型合适把,S,Lf,并入试验误差后再对方程的显著性进行检验，有：,,,,,所以方程有意义5,．,对每一回归系数分别进行检验,,,由上可得,=2.6744/7=0.382,，那么对回归系作检验的统计量分别为：,,,F,1,=8×(1.04105),2,/0.382=22.697,,F,2,=8×(-0.364275),2,/0.382=2.779,,F,12,=4×(-0.125),2,/0.382=0.164,,F,11,=(-1.59375),2,/(0.14375×0.382)=46.256,,F,22,=(0.40625),2,/(0.14375×0.382)=3.005,,若取 ，查表得,F,0.95,(1,7)=5.59,，,则 三个系数不显著，但是由于系数间不独立，所以不能一次将它们全部删除。

可以逐一删除不显著的项，再检验，直到获得每一系数都显著为止由于,F,12,最小，所以首先删去，然后建立方程，再检验，直到所有系数显著为止这一过程通常交计算机来完成我们这里罗列以下中间结果：,,,,首先删去 ，得到的回归方程为：,,,,对各系数检验的,F,值分别为：,25.30,，,3.10,，,51.70,，,3.35,由于,F,0.95,(1,8)=5.32,，,则 两个系数不显著再删去 ，得到的回归方程为：,,,,对各系数检验的,F,值分别为：,20.52,，,41.86,，,2.72,由于,,F,0.95,(1,9)=5.12,，,则 的系数不显著再删去 ，得到的回归方程为：,,（,13.5.17,）,,对各系数检验的,F,值分别为：,17.55,，,38.81,由于,,F,0.95,(1,10)=4.96,，,各系数均显著所以这是最后所得方程在此回归方程中,5),写出回归方程并求最优条件,,各项系数在,0.05,水平上显著的回归方程为,(13.5.17,),，该方程中不含,x,2,，,所以只要将,x,1,的编码式,,,,,代入，则得,y,关于,z,1,的回归方程为：,,,,,,,在获得了方程后，可以寻找使,y,达到最大的条件，将上式的右边对,z,1,求导并令其为零，可解得：,z,1,=0.44,。

这表明我们取保护膜厚度为,0.44mm,，,可使,y,达到最大，此时,E(y),的估计值为,57.422,由于,z,2,对,y,影响不大，所以可以在试验范围内任意选取若该材料比较贵，则可选取,z,2,=4:1,课后作业,,P,220,：,1,,。