优化理论课件变分法与最优控制理论.doc

优化理论课件（2）第二部分 动态优化：变分法和最优控制理论变分法是处理动态优化的古典方法，现在较少使用，在中一的书中，变分法的思路可用来解释庞特里亚金最大值原理（一阶条件）本部分容主要来自中一《动态最优化基础》目录一、什么是动态优化？3（一）动态优化问题的基本要素4（二）泛函与其相关概念4（三）可变终结点5（四）横截条件6（五）目标泛函6二、变分法7（一）基本问题：固定终结点问题7（1）基本问题与其假定7（2）一阶条件：欧拉方程8（二）推广：多状态变量与高阶导数10（1）多状态变量10（2）高阶导数10（三）可变端点问题10（1）一般性横截条件11（2）垂直终结线问题12（3）水平终结线问题12（4）终结曲线问题，即错误！不能通过编辑域代码创建对象12（5）截断的垂直终结线问题12（6）截断的水平终结线问题13（7）多变量和高阶导数情形13（四）二阶条件（充分条件）14（1）固定端点问题的二阶条件与其二次型检验14（2）凹凸性充分条件14（3）变分15（五）无限期界问题16（1）收敛性16（2）横截条件17（3）充分条件17（六）带约束的优化问题17（1）等式约束17（2）不等式约束18（3）积分约束（等周问题）19三、最优控制理论20（一）最优控制理论导论20（二）最大值原理与其横截条件21（1）最简单问题与最大值原理（一阶必要条件）21（2）最大值原理的理论基础与其横截条件23（3）自控问题的汉密尔顿函数不变性26（4）推广到多变量26（三）最大值原理的经济学解释与现值的汉密尔顿函数27（1）最大值原理的经济学解释27（2）现值的汉密尔顿函数28（四）充分条件（二阶条件）29（1）曼加萨林定理29（2）阿罗条件31（五）无限期界问题31（1）横截条件与反例32（2）作为充分条件一部分的横截条件32（六）有约束的最优控制问题33（1）涉与控制变量的约束33（2）状态空间约束39四、拉姆齐模型43（一）相关理论发展背景43（二）最简单的拉姆齐模型与其动力系统45（三）微分方程定性稳定性判别方法简介47（1）稳定性与渐进稳定性47（2）稳定性判别基本定理48（2）平面动力系统的奇点49一、什么是动态优化？例：一个企业将原料从初始状态A通过五道工序，变为总结状态Z，每个阶段的选择对应一个阶段的成本，如何选择路径使得总成本最小化？从这个例子中可以看到：首先，动态强调的是时期之间的联系，而不仅仅是有时间的顺序；其次，这里也包含了Bellman方程的基本原理。

如果是连续时间呢？（相加变为积分）（一）动态优化问题的基本要素由此可见，一个动态优化问题包含以下几个要素：（1）一个给定的初始点和终点（终点不一定给定，后面详细说明） （2）一组允许的路径 （3）对应于路径的指标（不同路径之间有什么不同的影响）（4）特定目标，通过对路径的选择来实现目标二）泛函与其相关概念和之前的静态优化相比，动态优化的目标依赖于“路径”的选择，而不是某个变量（实数）的选择从而，这个可优化的目标是“函数”到“实数”的映射，我们称之为“目标泛函” 我们记为V[y(t)]（注意与复合函数相区别），表示目标泛函的值取决于函数y(t)和微积分中的微分类比，微积分中的微分是自变量做微小变动后所导致的函数值的变动，而这里则是“路径”或者函数本身发生微小变动所导致的“泛函值”的变动，也就是“变分”后面的变分法也就是这个思路三）可变终结点 除了上文图中的固定终结点之外，还存在以下几种可变终结点：（1）固定时间问题（垂直终结线问题）：终结时间固定，但终结状态自由2）水平终结线问题：终结状态固定，但终结时间自由3）终结曲线（曲面）问题（四）横截条件 相比于固定终结点问题，可变终结点多了一个自由度，因此在确定最优路径的时候我们需要多一个条件，这个条件通常是来描述最优路径在穿过终结时刻时候的状态，被称为“横截条件”。

五）目标泛函在优化问题中，我们需要选择一个最优路径，那么最优意味着比较，比较的是什么，取决于不同的路径如何影响我们关心的问题类似前面离散时间问题中不同路径在不同阶段对应着不同的成本，我们抽象出一个路径在t时刻，对应着的对优化目标的影响为该时点上的值为F(t,y,y’)我们可以看到，这意味着在任何一时点，路径本身的值y和y对时间的导数y’都会影响我们的目标将每一时点上的值加总在一起，我们就得到一个积分的形式，这是关于路径y(t)的泛函，是我们优化的目标，即目标泛函：V[y]= 如果有两个状态变量，我们也可以写为：V[y, z]= 终结控制问题（迈耶问题）：有些问题的目标只跟终结时刻的位置有关，目标泛函可写作V[y]=G[T, y(T)] 博尔扎问题：V[y]=+G[T, y(T)] 比如一个项目完毕后，除了项目过程中的收益，还有项目完毕时设备的残值但是这些非标准问题可以把形式标准化令z(t)=G[t, y(t)]，且z(0)=0，于是有二、变分法（一）基本问题：固定终结点问题（1）基本问题与其假定max（min）V[y]=s.t. y(0)=A y(T)=Z 假定：可行的“路径”集合限定为具有连续导数的连续曲线；被积函数F是二阶可导的；最优解是一条光滑的曲线称为“极值曲线”。

2）一阶条件：欧拉方程 假定极值曲线y*(t)已知，那么我们对其施加一个微小扰动，所产生的新曲线必定“劣”于它任意给定一条连续光滑的扰动曲线p(t)，且p(0)=p(T)=0以确保扰动后能满足初始点和终结点的约束从而扰动后的曲线为y(t)=y*(t)+εp(t)，如图 这意味着y’(t)=y*’(t)+εp’(t)，且当ε→0，y→y*因此，一旦给定y*(t)和p(t)，目标泛函V[y]就退化为一个函数V(ε)而且，当ε=0时，V取极值因此，给定之前关于本优化问题的假定，有 因为V(ε)=定积分参数求导补充：若，且若f(x,y)与其偏导数在R=[a,b] ×[α,β]上连续， α(x),β(x)都在[a,b]上可微，则于是有 要令dV/dε=0，我们必须要处理p(t)，因为其是任意的根据假设条件可以把积分写开： 我们先对后半部分的积分用分部积分如下： 再将其代回原式，可以把积分的差写成差的积分，并提取公因子p(t)： 于是，因为p(t)是任意的，该积分要保持始终为零，只可能是在[0, T]上 该式就是极值曲线（最优路径）所必须满足的一阶条件（必要条件），欧拉方程。

我们把式中的求导写开，可以发现欧拉方程实际上是一个二阶微分方程由 有欧拉方程： 二阶微分方程通解常会有两个任意常数，我们正好有起始两个固定端点来确定两个常数例1：V[y]=，且y(0)=0，y(2)=8.欧拉方程为：2y’’(t)-12t=0，即y’’=6t两次积分可得：y*(t)=t3+c1t+c2，其中c1、c2为任意常数带入y(0)=0，y(2)=8，可得c1=c2=0，于是最优路径为y*(t)=t3 当然，也有可能解不存在，这种情况一般出现在Fy’y’=0的情况因为这种情况下，微分方程不再是二阶，不用确定两个常数，但是却又给出了两个常数，于是就可能出现不相容的情况例2：V[y]=，且y(0)=0，y(5)=3.欧拉方程为：2y=0，从而y*(t)=0无法穿过事先给定的终结点，无满足条件的最优路径二）推广：多状态变量与高阶导数（1）多状态变量V[y1,y2,…,yn]=按照同样的方法，欧拉方程组为：，j=1,…,n，对于所有t∈[0, T] 每个变量都有一对起止端点条件但是这里的欧拉方程并不是单变量时的简单推广，因为是所有变量与其导数的函数比如F(t, y, z, y’, z’)，于是（2）高阶导数V[y]=这里出现了高阶导数，因此边界条件就不应该仅仅是y的起止端点，还应该包括y’,…y(n)在起止时刻的状态，一共2n个边界条件。

对该问题的解决，有两种思路，一是将该问题通过变量替换，变成n个变量与其一阶导数的多变量问题（边界条件也满足）；另外，也可通过欧拉方程类似的推导，得到极值曲线的一阶条件，被称为“欧拉-泊松方程”：该方程一般是个2n阶微分方程，通解中有2n个待定常数，我们也正好有2n个边界条件三）可变端点问题max（min）V[y]=s.t. y(0)=A y(T)=yT，其中yT自由如上，可变端点问题（1）一般性横截条件和之前用p(t)和ε来对极值曲线进行扰动一样，我们假设最优终结时间为T*，在其附件对其进行一个扰动，任意给定一个扰动ΔT，T=T*+εΔT，于是有dT/dε=ΔT同样地，扰动后的曲线为y(t)=y*(t)+εp(t)，为穿过固定的起始点，令p(0)=0，但是因为y(T)不固定，所以不要求p(T)=0可见，当ε→0，y→y*，T→T*于是，我们将V[y]变为V(ε)，即 于是有 等式右边第一项和前面推导欧拉方程的形式很像但是，在推导欧拉方程时利用分部积分的时候第一项为零是因为p(0)=p(T)=0，这里p(T)=0不成立，所以消掉的那一项必须加上于是，右边第一项为 同时，右边第二项 于是有=0 因为p(t)和ΔT是任意的，要保证等式成立，只能是三项分别为零。

第一项为零，就是欧拉方程后两项就是我们要推导的横截条件，我们要用终结水平和终结时间来表示p(T)，因为横截条件只跟终结时间和终结状态相关 由图可见， 从而，我们将代入前面一阶条件等式中，后两项可整理为一般性横截条件2）垂直终结线问题 因为，所以横截条件为=0（3）水平终结线问题 因为，所以横截条件为=0（4）终结曲线问题，即因为，于是代入一般性横截条件得横截条件（5）截断的垂直终结线问题在一个垂直终结线问题（终结时间固定）中，如果最终状态受限那么，当时，该问题跟没有终结状态约束时是一样的但是，当没有约束时的最优终结状态时，因为约束，只能取在这种情况下，对终结状态的扰动不是任意的，只能大于零给定p(t)大于零，这意味着ε≥0于是，原有的以V(ε)为目标函数的无约束极值问题就加上了非负约束于是，对于由dV(ε)/dε=0导出的一阶条件，要变成带有互不松弛条件的库恩塔克条件对于最大化的问题，横截条件变为：；； 对于最小化的问题，横截条件变为；；（6）截断的水平终结线问题 比如，增加限制后，对于最大化的问题，横截条件变为：；； 对于最小化问题，横截条件变为：；；（7）多变量和高阶导数情形 如果有n个变量，比如F(t, y1, y2,…,yn, y’1, y’2,…, y’n)，则一般性横截条件变为： 高阶导数的情况相对复杂，我们只给出F(t, y, y’, y’’)的一般性横截条件：（四）二阶条件（充分条件）（1）固定端点问题的二阶条件与其二次型检验 。