第三章优化设计的某些基本概念和理论ppt课件.ppt

第三章第三章 优化设计的某些基本概念和处理优化设计的某些基本概念和处理§3.1 §3.1 目标函数与约束函数的某些基本性质目标函数与约束函数的某些基本性质§3.2§3.2　约束函数的集合及其性质　约束函数的集合及其性质§3.3 §3.3 优化设计问题的最优解及其最优性条件优化设计问题的最优解及其最优性条件§3.4§3.4　　优化设计问题的数值解法及收敛条件优化设计问题的数值解法及收敛条件整理ppt§3.1§3.1　目标函数与约束函数的某些基本性质　目标函数与约束函数的某些基本性质§3.1.1　函数的　函数的等值面等值面（或线）（或线） ：： 对于可计算的函数对于可计算的函数 f(x) f(x)，给定一个设计点，给定一个设计点 X X(k)(k)(x(x1 1(k)(k),x,x2 2(k)(k), …,x, …,xn n (k)(k)) )，，f(x)f(x)总有一个定值总有一个定值c c 与之对应；而当与之对应；而当f(x)f(x)取定值取定值 c c 时，则有无限多时，则有无限多个设计点个设计点X X(i)(i)(x(x1 1(i)(i), x, x2 2(i)(i), …,x, …,xn n(i)(i) ) ) （（i=1,2, … i=1,2, … ）与之对应，这些点）与之对应，这些点集构成一个曲面，称为集构成一个曲面，称为等值面等值面。

当当 c c 取取c c1 1,c,c2 2, …, …等等值时，就获得一族曲面值时，就获得一族曲面族，称为族，称为等值面族等值面族 当当f(x)f(x)是二维时，是二维时，获得一族等值线族；获得一族等值线族； 当当f(x)f(x)是三维时，是三维时，获得一族等值面族；获得一族等值面族； 当当f(x)f(x)大于三维时，大于三维时，获得一族超等值面族获得一族超等值面族整理ppt§3.1.1§3.1.1　函数的等值面（或线）　函数的等值面（或线） ：：等值线的等值线的““心心” ” （以二维为例） 一个一个““心心””：是单峰函数的：是单峰函数的极（小）值点极（小）值点，是全局极（小）值点是全局极（小）值点 没有没有““心心””：例，线性函数的等值线是平行的，无：例，线性函数的等值线是平行的，无““心心””，认为，认为极值点在无穷远处极值点在无穷远处 多个多个“心心”：不是单峰函数，每个极（小）值点只是局部极（小）：不是单峰函数，每个极（小）值点只是局部极（小）值点，必须通过比较各个极值点和值点，必须通过比较各个极值点和“鞍点鞍点”（须正确判别）的值，才（须正确判别）的值，才能确定极（小）值点。

能确定极（小）值点整理ppt§3.1.1§3.1.1　函数的等值面（或线）　函数的等值面（或线） ：：等值线的形状等值线的形状：： 同心圆族、椭圆族，近似椭圆族；同心圆族、椭圆族，近似椭圆族；等值线的疏密等值线的疏密：： 沿等值线密的方向，函数值变化快；沿等值线密的方向，函数值变化快； 沿等值线疏的方向，函数值变化慢沿等值线疏的方向，函数值变化慢 等值线的疏密定性反应函数值变化率等值线的疏密定性反应函数值变化率 严重非线性函数严重非线性函数——病态函数的等病态函数的等值线族是严重偏心和扭曲、分布疏密值线族是严重偏心和扭曲、分布疏密严重不一的曲线族严重不一的曲线族整理ppt§3.1.23.1.2 函数的最速下降方向函数的最速下降方向方向导数方向导数：： 二维问题中，二维问题中，f (xf (x1 1,x,x2 2 ) ) 在在 X X(0) (0) 点沿点沿方向方向 s s的方向导数为：的方向导数为：其中：其中：是是 X X(0)(0)点的梯度点的梯度S S 为为s s方向的单位向量，方向的单位向量， 。

为为 S S 的方向角的方向角, ,方向导数方向导数为方向余弦为方向余弦为梯度为梯度在方向在方向 s s 上的投影上的投影整理ppt§3.1.2 3.1.2 函数的最速下降方向函数的最速下降方向梯度的性质：梯度的性质： ① ① 梯度是梯度是 X X(0)(0)点处最大的方向导数；点处最大的方向导数； ② ② 梯度的方向是过点的等值线的法线方向；梯度的方向是过点的等值线的法线方向； ③ ③ 梯度是梯度是X X(0)(0) 点处的局部性质；点处的局部性质； ④ ④ 梯度指向函数变化率最大的方向；梯度指向函数变化率最大的方向； ⑤ ⑤ 正梯度方向是函数值最速上升的方向，正梯度方向是函数值最速上升的方向， 负梯度方向是负梯度方向是函数值最速下降的方向函数值最速下降的方向 对于对于 n n 维问题的梯度维问题的梯度整理ppt§3.1.33.1.3　函数局部近似的表达式和平方函数　函数局部近似的表达式和平方函数n n 维函数维函数 f(x) f(x) 在在 x x(k)(k) 点的台劳展开式点的台劳展开式: :二阶近似式：二阶近似式：其中：增量其中：增量 Δ X (k) =[Δx1 (k) , Δx2 (k) ,…, Δxn (k) ]T梯度梯度 Hesse Hesse 矩阵矩阵 Hesse Hesse 矩阵与正定矩阵与正定整理ppt§3.1.33.1.3　函数局部近似的表达式和平方函数　函数局部近似的表达式和平方函数Hesse Hesse 矩阵的特性：是实对称矩阵。

矩阵的特性：是实对称矩阵 矩阵正定的充要条件：矩阵正定的充要条件：主子式主子式 det(ait) det(ait)＞＞0 0当主子式当主子式 det(ait)≥0 det(ait)≥0 时，矩阵半正定时，矩阵半正定 det(ait) det(ait)＜＜0 0时，矩阵负定时，矩阵负定 det(ait)≤0 det(ait)≤0时，矩阵半负定时，矩阵半负定Hesse Hesse 矩阵的正定性：矩阵的正定性：H(x*)H(x*)正定，正定， 是是 x* x* 为全局极小值点的充分条件为全局极小值点的充分条件；；H(x*)H(x*)半正定半正定, , 是是 x* x* 为局部极小值点的充分条件；为局部极小值点的充分条件；H(x*)H(x*)负定，负定， 是是 x* x* 为全局极大值点的充分条件；为全局极大值点的充分条件；H(x*)H(x*)半负定半负定, , 是是 x* x* 为局部极大值点的充分条件为局部极大值点的充分条件正定的二次函数：曲面为椭圆抛物面；正定的二次函数：曲面为椭圆抛物面； 等值线族为椭圆曲线族，椭圆中心为极小值点。

等值线族为椭圆曲线族，椭圆中心为极小值点整理ppt§3.1.4§3.1.4　函数的凸性　函数的凸性凸集：凸集： 设设 D D为欧氏空间为欧氏空间R Rn n 中中X X的集合，即的集合，即 D∈R D∈Rn n, , X∈DX∈D，若，若D D域内任意两个点域内任意两个点x x(1)(1)，，x x(2)(2)的连线的连线上的各点都属于上的各点都属于 D D域，则集合域，则集合 D D称为称为 R Rn n 内的内的一个凸集否则，为非凸集一个凸集否则，为非凸集 凸函数：凸函数： f(x)f(x)是定义在是定义在 n n 维欧氏空间中，凸集维欧氏空间中，凸集上的函数，同时上的函数，同时x x(1)(1)∈D∈D，，x x(2)(2)∈D∈D，，ξ∈[0,1]ξ∈[0,1]，当下式成立时，，当下式成立时，则称则称f(x)f(x)为定义在凸集为定义在凸集D D上的凸函数上的凸函数f [ξx(1) +(1-ξ)x(2) ]≤ξf(x(1)) +(1-ξ) f( x(2) ) 当上式中的当上式中的≤≤为＜时，为＜时，f(x)f(x)是严格凸函数是严格凸函数整理ppt§3.1.4§3.1.4　函数的凸性　函数的凸性判别函数为凸函数的凸性条件判别函数为凸函数的凸性条件：：l 按梯度判断凸性：设按梯度判断凸性：设f(xf(x) )是定义在凸集是定义在凸集 D D上具有连续一阶导数的函数，上具有连续一阶导数的函数，则则f(xf(x) )在在D D上为凸函数的充要条件是：对于任意的上为凸函数的充要条件是：对于任意的 x x(1)(1),x,x(2)(2)∈∈D D 都有都有 成立。

成立l 按二阶偏导数判断凸性：设按二阶偏导数判断凸性：设 f(x)f(x) 是定义在凸集是定义在凸集D D上具有连续二阶上具有连续二阶导数的函数，则导数的函数，则f(x)f(x)在在D D上为凸函数的充要条件是：上为凸函数的充要条件是：f(x)f(x)的的HesseHesse矩矩阵处处半正定若阵处处半正定若HesseHesse矩阵处处正定，则矩阵处处正定，则f(x)f(x)为严格凸函数为严格凸函数凸函数的基本性质凸函数的基本性质：：l 若若f(x)f(x)是定义在凸集是定义在凸集D D上的严格凸函数，则上的严格凸函数，则f(x)f(x)在在D D上的一个极小点，上的一个极小点，也就是全局最小点也就是全局最小点l 凸函数的线性组合仍然为凸函数凸函数的线性组合仍然为凸函数l 设设x x(1)(1), x, x(2)(2)为凸函数为凸函数 f(x)f(x)上的两个最小点，则其连线上的任意点也上的两个最小点，则其连线上的任意点也都是最小点都是最小点整理ppt§§3.23.2　约束函数的集合及其性质　约束函数的集合及其性质§3.2.1§3.2.1　约束集合和可行域　约束集合和可行域约束集合：是指所有不等式约束和等式约束的交集即：　　由于该集合内所有设计点　　由于该集合内所有设计点x x都满足全部的约束条件，都满足全部的约束条件，所以所以设计可行域设计可行域可以表示为：可以表示为：　　其中假设函数　　其中假设函数g gu u(x)(x)和和h(x)h(x)都是连续的。

这样，对于一个都是连续的这样，对于一个约束的优化设计问题，由于约束面的存在而把设计空间划分为约束的优化设计问题，由于约束面的存在而把设计空间划分为两个区域：两个区域：设计可行域设计可行域和和非可行域非可行域可行域内的各点都满足所可行域内的各点都满足所有的约束条件，因而最优解或可接受设计解只能从这些点中产有的约束条件，因而最优解或可接受设计解只能从这些点中产生整理ppt§3.2.1§3.2.1　约束集合和可行域　约束集合和可行域 　　若在可行域内不存在设计点，则认为此可行集合是个　　若在可行域内不存在设计点，则认为此可行集合是个空空集集，此时也就没有可接受的设计解此时也就没有可接受的设计解 　关于约束交集或是可行域　关于约束交集或是可行域D D是否为一个凸集，在凸规划是否为一个凸集，在凸规划理论中证明了：理论中证明了：若各个不等约束函数若各个不等约束函数g gu u(x)(u(x)(u＝＝1 1，，2 2，，……，，m)m)是凸函数和等式约束是凸函数和等式约束h hv v(x)(v(x)(v＝＝l l，，2 2，，……，，p)p)是线性函数，则是线性函数，则G G或或D D是凸集。

但是只要等式约束是非线性的，那么集合是凸集但是只要等式约束是非线性的，那么集合G G或或D D一定是个非凸集一定是个非凸集　　关于约束函数集合的几何概念是很清楚的例如，　　关于约束函数集合的几何概念是很清楚的例如，对于一个二维问题，当其约束条件为：对于一个二维问题，当其约束条件为：整理ppt§3.2.1§3.2.1　约束集合和可行域　约束集合和可行域由图由图3 3－－10(a)10(a)可见，它是一个在第一象限内的凸集可见，它是一个在第一象限内的凸集D D　　当约束条件　　当约束条件g g3 3(x)(x)改为改为由图由图3 3－－10(b)10(b)可见，是一个在第一象限内的非凸集可见，是一个在第一象限内的非凸集D,D,因为因为g g3 3(x)(x)函数是一凹函数函数是一凹函数整理ppt§3.2.1§3.2.1　约束集合和可行域　约束集合和可行域当约束条件当约束条件g g3 3(x)(x)取为等式约束取为等式约束由图由图3 3－－10(c)10(c)可见，也是一个非凸集可见，也是一个非凸集D D，此时这个集合，此时这个集合是在是在x x1 1≥0≥0和和x x2 2≥0(≥0(第一象限内第一象限内) )上上h(x)h(x)＝＝0 0的一段曲线。

的一段曲线　　值得注意的是，一个约束函数经过变换，虽然表示　　值得注意的是，一个约束函数经过变换，虽然表示形式不同，而且也未改变其约束的条件，但有时却会影形式不同，而且也未改变其约束的条件，但有时却会影响约束函数的凸性响约束函数的凸性　　例如，对于　　例如，对于x x1 1>0>0和和x x2 2>0>0，且，且a a和和b b为正常数，其为正常数，其原约束条件形式为原约束条件形式为 可以等价地变换为下面形式可以等价地变换为下面形式( (由于由于x x1 1和和x x2 2均取正值，故均取正值，故不等式的意义没有改变不等式的意义没有改变) )整理ppt　　由此，约柬函数通过形式上的变换，结果可能　　由此，约柬函数通过形式上的变换，结果可能丢失了函数的凸性丢失了函数的凸性( (或者相反或者相反) )，这也就影响可行域，这也就影响可行域的约束集合的凸性条件的约束集合的凸性条件式中，式中， 为正定短阵；为正定短阵； 为不定短阵为不定短阵 结果是结果是g g1 1(x)(x)是凸函数，变换为是凸函数，变换为g g2 2(x)(x)则是非凸则是非凸函数，因为他们的函数，因为他们的HessianHessian矩阵分别为矩阵分别为§3.2.1§3.2.1　约束集合和可行域　约束集合和可行域当不等式约束都是线性函数时，其约束集合当不等式约束都是线性函数时，其约束集合D D必为一个凸集。

必为一个凸集整理ppt§3.2.2§3.2.2　起作用约束和松弛约束　起作用约束和松弛约束　　　对于一个不等式约束　　　对于一个不等式约束g(x)≤0g(x)≤0来说，如果所讨论的设计来说，如果所讨论的设计点点x x(k)(k)使该约束使该约束g(xg(x(k)(k))=0()=0(或者说或者说x x(k)(k)当时正处在该约束的边界上当时正处在该约束的边界上) )时，时，则称这个约束是则称这个约束是x x(k)(k)点的一个点的一个起作起作用约束用约束或或紧约束紧约束而其他满足而其他满足g(x)≤0g(x)≤0的约束称为的约束称为松弛约束松弛约束如图所示，对点图所示，对点x x(k)(k)来说，来说，g g1 1和和g g2 2是起是起作用约束，而作用约束，而g g3 3和和g g4 4为松弛约束为松弛约束当一个设计点同时有几个约束起作用时，即可定义起当一个设计点同时有几个约束起作用时，即可定义起作用约束集合为作用约束集合为其意义是对其意义是对x x (k)(k)点此时所有起作用约束下标的集合以上图点此时所有起作用约束下标的集合以上图为例，其为例，其I I(x(x(k)(k)) )＝＝{1,2}{1,2}。

整理ppt§3.2.3§3.2.3　冗余约束　冗余约束 如果一个不等式约束条件的约束面如果一个不等式约束条件的约束面( (即即g=0)g=0)对可行域对可行域的大小不发生影响，或是约束面不与可行域的大小不发生影响，或是约束面不与可行域D D相交，即此相交，即此约束称为约束称为冗余约束冗余约束 一个约束条件对优化设计模型是否是冗余的，可以根据一个约束条件对优化设计模型是否是冗余的，可以根据下面的下面的优势定理优势定理来确定；来确定； 对于一切的设计点对于一切的设计点x x，若，若g g2 2(x)

变为冗余a a））g g4 4为冗余　　　　　　（为冗余　　　　　　（b b））g g3 3为冗余为冗余整理ppt§3.2.4§3.2.4　可行方向　可行方向 一个设计点一个设计点x x(k)(k)在可行域内在可行域内是一个自由点，在各个方向上是一个自由点，在各个方向上都可以作出移动得到新点，如都可以作出移动得到新点，如图所示，但一旦当设计点图所示，但一旦当设计点x x(k)(k)处处于起作用约束上时，它的移动于起作用约束上时，它的移动就会受到可行性的限制此时就会受到可行性的限制此时x x(k)(k)点的点的可行方向可行方向s s必满足条件：必满足条件：上式的极限情况是取等号，这时有：上式的极限情况是取等号，这时有：即可行方向即可行方向s s与该点的约束梯度向量　与该点的约束梯度向量　 垂直，夹角为　，也垂直，夹角为　，也就是说，该点的可行方向就是该点约束面的切线方向就是说，该点的可行方向就是该点约束面的切线方向t t－－t t当式当式(3-25)(3-25)小于零时，可行方向小于零时，可行方向s s与约束梯度向量与约束梯度向量 的夹角的夹角大于大于 。

整理ppt§3.2.4§3.2.4　可行方向　可行方向 当某个设计点当某个设计点x x同时有几个约束起作用时同时有几个约束起作用时( (如上图中如上图中的的x x点是约束点是约束g g1 1＝＝0 0和约束和约束g g2 2＝＝0 0约束面的交点约束面的交点) )，其可行，其可行方向集合方向集合 即图中的阴影线内的任一方向都是可行方向同理，即图中的阴影线内的任一方向都是可行方向同理，即有不等约束的起作用约束集合和等式约束集合，其即有不等约束的起作用约束集合和等式约束集合，其x x点的可行方向集合为点的可行方向集合为整理ppt优化设计是求优化设计是求n n个设计变量在个设计变量在满足约束条件下使目标函数满足约束条件下使目标函数达到最小值，即：达到最小值，即：§3.3§3.3 优化设计问题的最优解及其最优性条件优化设计问题的最优解及其最优性条件§3.3.1 §3.3.1 优化设计问题的最优解优化设计问题的最优解 我们称我们称x x* *为为最优点最优点，称，称f(xf(x* *) )为为最优值最优值最优点x x* *和最优和最优值值f(xf(x* *) )即构成了一个即构成了一个约束最优解约束最优解。

如果一组设计变量如果一组设计变量x x1 1* *,x,x2 2* *, , ∙∙∙,x,xn n* * 仅使目标函数取最仅使目标函数取最小值，而不受任何约束条件的限制，即小值，而不受任何约束条件的限制，即则称则称x x* *和和f(xf(x* *) )为为无约束最优解无约束最优解整理ppt§3.3.1 §3.3.1 优化设计问题的最优解优化设计问题的最优解例题：求下面问题的最优解例题：求下面问题的最优解解：如图所示，其中解：如图所示，其中x x* *＝＝[4[4，，3]3]T T和和f(xf(x* *) )＝＝2121是约束最优解，是约束最优解，是约束边界与目标函数等值是约束边界与目标函数等值线的切点；而线的切点；而x x* *=[8=[8，，6]6]T T和和f f(x(x* *)=8)=8是无约束最优解，是目是无约束最优解，是目标函数等值线的中心标函数等值线的中心其其约束最优点约束最优点一般都应该一般都应该处于一个或几个起作用约束的集合上处于一个或几个起作用约束的集合上，因，因此有时又称它为此有时又称它为边界最优点边界最优点；显然，起作用约束边界的变动，将改；显然，起作用约束边界的变动，将改变最优点的位置或优化解的结果。

变最优点的位置或优化解的结果对于一般有约束的优化问题对于一般有约束的优化问题整理ppt 设设x x为所有解的集合，为所有解的集合，D D为为x x上的可行域，上的可行域，f(x)f(x)为为目标函数，若一切的目标函数，若一切的x x(k+1)(k+1)∈(N∈(Nδδ(x(x(k)(k))∩D))∩D)，满足，满足f f(x(x(k+1)(k+1))>f(x)>f(x(k)(k)) )，则称，则称x x(k)(k)为该目标函数在为该目标函数在D D上的上的局局部最优点部最优点；若一切的；若一切的x x(k+1)(k+1)∈(X∩D) ∈(X∩D) ，满足，满足f(xf(x(k+1)(k+1))>f)>f(x(x(k)(k)) ) ，则称，则称x x (k)(k)为为D D上的上的全局最优点全局最优点§3.3.2 §3.3.2 局部最优点和全局最优点局部最优点和全局最优点　　因此，只有当日标函数在约束可行域　　因此，只有当日标函数在约束可行域D D内是内是单蜂函数和约束集合单蜂函数和约束集合D D是凸集时，所计算得的局是凸集时，所计算得的局部最优解可以断定它也就是问题的全域最优解。

部最优解可以断定它也就是问题的全域最优解整理ppt§3.3.3§3.3.3　无约束问题最优解的最优性条件　无约束问题最优解的最优性条件无约束优化设计问题最优解：无约束优化设计问题最优解：约束优化设计问题最优解约束优化设计问题最优解： 不受约束条件限制，使目标函数达到最小值的一组设计变量，即最不受约束条件限制，使目标函数达到最小值的一组设计变量，即最优点优点 x*=[x x*=[x1 1*,x*,x2 2*,…,x*,…,x n n*] *] 和最优值和最优值 f(x*) f(x*)构成无约束问题最优解构成无约束问题最优解 满足约束条件，使目标函数满足约束条件，使目标函数达到最小值的一组设计变量，达到最小值的一组设计变量， 即最优点即最优点 x*=[x x*=[x1 1*,x*,x2 2*,…,x*,…,x n n*] *] 和最优值和最优值 f(x*) f(x*)构成约束问题最构成约束问题最优解整理ppt§3.3.3§3.3.3　无约束问题最优解的最优性条件　无约束问题最优解的最优性条件X X* *为无约束极小点即最优点的充要条件：为无约束极小点即最优点的充要条件： (1) ; (1) ; (2)Hessian (2)Hessian矩阵矩阵H(xH(x* *) )是正定。

是正定HessianHessian矩阵矩阵H(x*)H(x*)是否为正定，可用它的各阶主子式来确定是否为正定，可用它的各阶主子式来确定其中：其中：　　若　　若k k＝＝1 1，，2 2，，……，，n n，均有，均有d dk k(x(x* *)>0)>0，则对一切非零向量，则对一切非零向量z z＝＝x-xx-x* *，，二次型二次型z zT TH H(x(x* *) z) z均为大于零，从而均为大于零，从而HessianHessian矩阵矩阵H(xH(x* *) )是正定矩阵，是正定矩阵，x x* *必为必为极小点极小点若对于有若对于有(—1)(—1)k k的符号，即的符号，即dk(xdk(x* *) )是交替的负值和正是交替的负值和正值，则对于一切非零向量值，则对于一切非零向量z z，二次型，二次型z zT TH H(x(x* *) z) z为小于零，从而为小于零，从而HessianHessian短阵是负定矩阵，短阵是负定矩阵，x x* *为为极大点极大点否则， H(x H(x* *) )是不定矩阵，是不定矩阵，x x* *即为即为鞍点鞍点整理ppt§3.3.3§3.3.3　无约束问题最优解的最优性条件　无约束问题最优解的最优性条件例：求下面函数的无约束最优解例：求下面函数的无约束最优解解：按最优解的必要条件解：按最优解的必要条件于是可得于是可得 x x1 1=250x=250x2 2 代入（代入（b b）式可得，）式可得，x x2 2* *＝＝4 4x x1 1* *＝＝10001000　为问题的稳定点。

　为问题的稳定点整理ppt用式（用式（a a）和（）和（b b）可求得）可求得f(x)f(x)的的HessianHessian矩阵矩阵　　由于　　由于x x1 1＞＞0 0和和x x2 2＞＞0 0，其，其H(xH(x1 1，，x x2 2) ) 为正为正定矩阵因此定矩阵因此x x* *=[1000=[1000，，4]4]T T是是f(x)f(x)函数的局函数的局部极小点，由于部极小点，由于HessianHessian矩阵对于一切矩阵对于一切x x1 1>0>0和和x x2 2>0>0均为正定，函数均为正定，函数f(x)f(x)是凸函数，所以是凸函数，所以x x* *也是全域最小点，其也是全域最小点，其f(x)f(x)函数等值线的图函数等值线的图形见上图形见上图§3.3.3§3.3.3　无约束问题最优解的最优性条件　无约束问题最优解的最优性条件整理ppt2.2.有适时约束有适时约束3.3. 目标函数是凸函数目标函数是凸函数, ,可行域是可行域是凸集，则目标函数等值线与适时凸集，则目标函数等值线与适时约束曲面的切点为最优点，而且约束曲面的切点为最优点，而且是全局最优点。

是全局最优点1.无适时约束无适时约束2. 目标函数是凸函数，可行域是目标函数是凸函数，可行域是凸集，则最优点是内点相当于无凸集，则最优点是内点相当于无约束问题的最优点约束问题的最优点x x (k)(k) 为最优点为最优点x*x*的条件：的条件：必要条件：必要条件：充分条件：充分条件： Hesse Hesse矩阵矩阵 H(x H(x(k)(k)) ) 是正定矩阵是正定矩阵··X*f (x)· x*§3.3.4§3.3.4　约束问题最优解的最优性条件　约束问题最优解的最优性条件整理ppt3.3.有适时约束有适时约束4.4. 目标函数是非凸函数（图目标函数是非凸函数（图 a a），），或可行域是非凸集（图或可行域是非凸集（图 b b）：）： 则目标函数等值线与适时约束曲面可能存在多个切点，是则目标函数等值线与适时约束曲面可能存在多个切点，是局部极值点，其中只有一个点是全局最优点局部极值点，其中只有一个点是全局最优点pp§3.3.4§3.3.4　约束问题最优解的最优性条件　约束问题最优解的最优性条件整理ppt目标函数是非凸函数目标函数是非凸函数, ,可行域是非凸集（图可行域是非凸集（图 c c））图图 c c§3.3.4§3.3.4　约束问题最优解的最优性条件　约束问题最优解的最优性条件整理ppt K-T K-T ( Kuhn-Tucker ( Kuhn-Tucker 库恩库恩- -塔克塔克) ) 条件条件 —— ——有适时约束时获得最优解的条件有适时约束时获得最优解的条件1. 1. 有一个适时约束时：有一个适时约束时： 与与x x(k)(k)点目标函数的负梯度方向成锐角，点目标函数的负梯度方向成锐角，即沿即沿 S S 方向目标函数值下降；方向目标函数值下降； 与与x x(k)(k)点约束函数的梯度方向成钝角，即点约束函数的梯度方向成钝角，即保证保证 S S方向上各点在可行域内。

方向上各点在可行域内 此时，获得最优解此时，获得最优解 x x(k)(k) 为最优点为最优点 x* x*，，f(xf(x(k)(k)) )为最优值为最优值 f(x*) f(x*) 从数学上定义，当从从数学上定义，当从 x x(k)(k)点出发点出发不存在不存在一个一个 S S 方向能同时满足：方向能同时满足： 　　 ① ;②① ;②　　　　　　，即　　　　　　，即 　　 ，， 则获得最优解：则获得最优解：x x(k)(k)为最优点为最优点 x* x*，，f(xf(x(k)(k)) )为最优值为最优值 f(x*) f(x*)从几何上看，当从从几何上看，当从 x (k) x (k)点出发不存在一个点出发不存在一个 S S 方向能同时满足方向能同时满足：§3.3.4§3.3.4　约束问题最优解的最优性条件　约束问题最优解的最优性条件整理ppt 相反，当从相反，当从 x x(k)(k)点出发，点出发，存在存在一个一个 S S 方方向能同时满足：向能同时满足： 和和 时，则时，则 x x(k)(k) 不是最优点。

不是最优点 从几何上看，当从从几何上看，当从 x x(k)(k)点出发存在一个点出发存在一个 S S 方向能同时满足：方向能同时满足： 与与x x(k)(k)点目标函数的负梯度方向成锐角，点目标函数的负梯度方向成锐角，即沿即沿 S S 方向目标函数值下降；方向目标函数值下降； 与与x x(k)(k)点约束函数的梯度方向成钝角，即点约束函数的梯度方向成钝角，即保证保证 S S方向上各点在可行域内方向上各点在可行域内 此时，此时，x x(k)(k)不是最优点不是最优点 x* x*1. 1. 有一个适时约束时：有一个适时约束时：§3.3.4§3.3.4　约束问题最优解的最优性条件　约束问题最优解的最优性条件整理ppt2. 2. 有二个适时约束时：有二个适时约束时： x x(k)(k)成为约束最优点成为约束最优点 x* x* 的必要条件为的必要条件为: : 几何上几何上 位于位于和和 所张的扇形子空间内所张的扇形子空间内即不存在一个即不存在一个 S S 方向能同时满足：方向能同时满足：§3.3.4§3.3.4　约束问题最优解的最优性条件　约束问题最优解的最优性条件 K-T K-T ( Kuhn-Tucker ( Kuhn-Tucker 库恩库恩- -塔克塔克) ) 条件条件 —— ——有适时约束时获得最优解的条件有适时约束时获得最优解的条件整理ppt相反，不符合以上条件：相反，不符合以上条件： 几何上几何上 不位于不位于 和和 所张的扇形子空间内。

则所张的扇形子空间内则 x x(k)(k) 点不点不是最优点是最优点不能表达成不能表达成 和和 的线性组合的线性组合即存在一个即存在一个 S S 方向能同时满足：方向能同时满足：2. 2. 有二个适时约束时：有二个适时约束时：§3.3.4§3.3.4　约束问题最优解的最优性条件　约束问题最优解的最优性条件整理ppt3. K-T 3. K-T 条件（扩展至条件（扩展至 m m 个适时约束）：个适时约束）： 设某个设计点设某个设计点 x x(k)(k)，其适时约束集为，其适时约束集为 ，， 几何上，几何上，x x(k)(k)成为约束最优成为约束最优点（极小点）点（极小点）x*x*时，目标函数时，目标函数的负梯度向量位于的负梯度向量位于 m m 适时约束适时约束梯度向量所张成的子空间内梯度向量所张成的子空间内且且 为线性独立，则为线性独立，则 x x(k)(k)成为约束最优点的必要条件是成为约束最优点的必要条件是目标目标函数的负梯度向量可表示为适时约束梯度向量的线性组合，即函数的负梯度向量可表示为适时约束梯度向量的线性组合，即 。

其中，其中， §3.3.4§3.3.4　约束问题最优解的最优性条件　约束问题最优解的最优性条件整理pptK-TK-T条件的作用：条件的作用：l 判别边界设计点判别边界设计点 x x(k(k) ) 为最优点的依据，见参考书为最优点的依据，见参考书l 作为约束优化的收敛条件作为约束优化的收敛条件问题：问题：l K-TK-T条件是否为充分必要条件？若是，说明理由；若不是，条件是否为充分必要条件？若是，说明理由；若不是，则说明什么情况下，可成为充要条件？则说明什么情况下，可成为充要条件？l 有等式约束时，有等式约束时，K-TK-T条件是否还能适用？条件是否还能适用？§3.3.4§3.3.4　约束问题最优解的最优性条件　约束问题最优解的最优性条件整理ppt解：起作用约束为解：起作用约束为I I(x(x(k)(k))=[2,3])=[2,3]在在x x(k)(k)点的各向量为点的各向量为例例3.63.6　试判断　试判断x x(*)(*)=[1,0]=[1,0]T T是否为下列约束优化问题的最是否为下列约束优化问题的最优点：优点： 左图表示了问题的可行域左图表示了问题的可行域D D和目标函数的一些等值线。

和目标函数的一些等值线解得：解得：　　解得　　解得λλ2 2=1=1和和λλ3 3=1=1，为非负乘子，满，为非负乘子，满足足K-TK-T条件由于在条件由于在x(k)x(k)点起作用约束为点起作用约束为g g2 2(x(x(k)(k))=g)=g3 3(x(x(k)(k))=0)=0，而，而λλ2 2=λ=λ3 3=1=1，对非，对非起作用约束起作用约束g g1 1(x(x(k)(k))<0,)<0,而而λλ1 1=0=0，所以这，所以这些些λλ值满足下式值满足下式因此因此,x,x(k)(k)点为该问题的约束最优点点为该问题的约束最优点x*x*整理ppt例例3.73.7　试判断　试判断x x(*)(*)=[1,0]=[1,0]T T是否为下列约束优化问题的最是否为下列约束优化问题的最优点：优点：解：解： x x(k)(k)点的起作用约束集合为点的起作用约束集合为I I(x(x(k)(k))=[2,3])=[2,3] 这个方程组无解，因两个起作用约束的梯度向量是这个方程组无解，因两个起作用约束的梯度向量是线性相关的，所以不存在满足式线性相关的，所以不存在满足式(3-36)(3-36)的的λλ2 2和和λλ3 3值。

值 左图表示了问题的可行域左图表示了问题的可行域D D和目标函数的一些等值线和目标函数的一些等值线因此，因此，x x(k)(k)点不是该点不是该问题的约束最优点问题的约束最优点整理ppt§3.4 3.4 优化设计问题的数值解法及收敛条件优化设计问题的数值解法及收敛条件§§3.4.13.4.1　数值计算迭代法的基本思想和迭代格式：　数值计算迭代法的基本思想和迭代格式：基本思想基本思想：： 从设计点从设计点 x x(k)(k)出发，根据函数在该点的某些（局部）性质，出发，根据函数在该点的某些（局部）性质，确定本次搜索的方向确定本次搜索的方向 S S(k) (k) 和步长因子和步长因子αα(k)(k) ，从而达到一个新点，从而达到一个新点 x x(k+1)(k+1),…,…逐步调优，最终达到或逼近目标函数的最优点逐步调优，最终达到或逼近目标函数的最优点 迭代公式迭代公式：： x x(k+1)(k+1) = x = x(k)(k) +α +α(k)(k) S S(k)(k) 迭代条件迭代条件：： 保证得到的新点保证得到的新点 ① ① 在可行域内；在可行域内； ② ② 目标函数值步步下降。

目标函数值步步下降整理ppt§3.4.1§3.4.1　数值计算迭代法的基本思想和迭代格式：　数值计算迭代法的基本思想和迭代格式：迭代步骤迭代步骤：： ① ① 选择合适的初始点；选择合适的初始点； ② ② 寻找可行的搜索方向；寻找可行的搜索方向； ③ ③ 确定步长因子；确定步长因子； ④ ④ 获得新点后，判断其是否在可行域内、获得新点后，判断其是否在可行域内、目标函数值是否下降；目标函数值是否下降； ⑤ ⑤ 检验是否收敛检验是否收敛整理ppt§3.4.2§3.4.2　无约束优化迭代计算的终止准则　无约束优化迭代计算的终止准则1.1.当当 时，时， 2.2. 依据：判断无约束优化问题最优点的必要条件：依据：判断无约束优化问题最优点的必要条件：3.3. 局限性：可能迭代终止在鞍点上局限性：可能迭代终止在鞍点上 2.2.当当 时，或当时，或当 时时 。

3.3. 依据：柯西准则依据：柯西准则————序列极限存在的判别法；序列极限存在的判别法；4.4. 局限性：遇到陡坡，迭代过早结束局限性：遇到陡坡，迭代过早结束3.3.当当 4.4. 时，时， 5.5. 局限性：局限性：①①目标函数值变目标函数值变化过缓时，过早结束；化过缓时，过早结束； 6.6. ② ② 当当 f(xf(x(k-1)(k-1) )→0 )→0 时不时不可用整理ppt此课件下载可自行编辑修改，供参考！感谢您的支持，我们努力做得更好！。