使用神经网络对随机线性二次型奇异系统的最优控制.doc

Optimal control for stochastic linear quadratic singular system using neural networksN. Kumaresan *, P. BalasubramaniamJournal of Process Control 19 () ：Page482–488使用神经网络对随机线性二次型奇异系统的最优控制N.库玛瑞森博士，P.巴拉苏布拉马尼亚姆 过程控制杂志19期()：引用482—488页摘 要 在本文中,最优控制随机线性奇异系统与二次型已经在神经网络领域获得使用其目的是提供最优控制和努力通过比较矩阵Riccati微分方程(MRDE)的解减少微积分获得了从众所周知的老式Runge-Kutta(RK)措施和老式神经网络措施为了获得最优控制,MRDE的解可以通过前向神经网络(FFNN)计算得到更接近神经网络措施得到的精确解来解决这一问题性能更好该措施的长处是,一旦网络运营起来,它可以瞬时计算出评估方案在任意点和任意少量的时间和记忆的支出，其计算时间的措施比老式RK措施更快、耗时更短下面一种数值算例给出了该措施核心词：矩阵微分方程；神经网络；最优控制；龙格库塔法；随机奇异线性系统1 简介 众多学者始终在研究随机线性二次型调节器(LQR)问题[文献2、6、8、15、34]。

陈等人[文献12]的研究表白对于随机LQR问题是如果Riccati方程有解，那么可以得到最优反馈控制有关LQR方面的问题，有关的研究Riccati方程，这是很自然的然而，对于Riccati方程解的存在性和唯一性，一般来说，由于存在复杂的非线性项，这似乎成为一种很困难的问题朱和李[文献36]采用迭代措施求解随机LQR问题中Riccati方程的随机性常规Riccati方程有几种数值措施解，这些也许发生非线性过程基本误差积累为了使误差最小，近来老式的Riccati方程分析了运用神经网络措施[文献3-5]本文论述了扩展的神经网络措施求解随机Riccati方程 神经网络或简朴的神经网络都是计算机系统，它可以通过训练学习两个或多种变量的某种复杂关系或数据集具有类似于她们的生物学配对物的构造，通过神经网络解决信息和并行分布式简朴解决节点连接的计算模型的构成形式[文献33]神经网络技术已被成功地应用于许多领域，如函数逼近、信号解决和自适应或非线性系统的学习控制运用神经网络，各式各样的对非线性系统离线学习控制算法已经开发出来[文献21，25]为求解代数Riccati方程，多种数值算法[文献11]也已经随之开发出来。

近年来，神经网络问题已经引起了越来越多的注重，许多研究人员进行了数值代数Riccati方程等方面的研究，见[文献16，17，32] 奇异系统涉及一种混合代数和微分方程组从这个意义上说，代数方程组代表代数方程限定解的微分部分这些系统也被称为退化、描述或半状态和广义状态空间系统奇异系统的复杂本质导致在分析及数值解决这样的系统会遇到许多困难，特别是在需要对它们的控制时该系统自然演变成一种线性系统模型或者在许多领域应用的线性系统模型，如：电网、飞机动力学、中立型时滞系统、化学、热扩散过程、大型系统、机器人学、生物等见[文献9，10，23] 许多实际过程可以被建成为描述系统模型，如约束控制问题模型，电路模型，某些人口增长模型和奇异扰动模型由于这样的事实，在过去的几年中，描述系统的稳定性问题以及控制问题已被广泛地研究，即描述系统可以比状态空间系统更好的描述某个物理系统与状态空间系统相比，描述系统构造更复杂更完善此外，由于描述系统一般有三种模式，即有限的动态模式、脉冲模式和非动态模式[文献13]，研究描述系统的动态性能比对状态空间系统研究困难，而后者两个不出目前状态空间系统 由于原则二次型性能线性系统的最优控制理论发展迅速，其成果在许多实际设计问题中是最完整、最接近使用。

该理论的二次成本控制问题被视为一种更有趣的问题，最小成本最优反馈控制始终是用于求解Riccati方程Da Prato 和Ichikawa[文献14]表白Riccati方程解的总是具有最优反馈控制、总成本最低的特性MRDE解决的中心问题是最优控制理论常常需要分析和综合求解此类方程，如线性二次型最优控制系统、控制系统鲁棒H2和H1控制[文献35]的性能原则、随机过滤和控制系统模型的降阶、微分对策等其中在数学和工程学领域，一种最进一步研究的非线性矩阵方程是Riccati方程对于该方程，它存在一种或另一种形式，在最优控制问题，多变量、大规模系统，散射理论，估计检测、运送和辐射传播[文献19]中扮演一种重要的角色该方程的解也很难从两个角度获得一种是非线性的，另一种是用矩阵的形式表达求解MRDE边界条件的最一般的措施是得到MRDE并将它转变成一种等价的线性微分哈密顿系统[文献20]运用这个措施，得到与MRDE解的状态转换矩阵有关的哈密顿系统[文献31]另一类措施是基于MRDE转变成一种线性矩阵微分方程，然后分析或计算求解MRDE[文献24，29，30]然而，该措施[文献28]仅合用于当MRDE的某些系数是非奇异的状况下。

在[文献20]，在制导导弹系统中提出了求解MRDE线性二次控制问题的解析措施MRDE中K(t)的解是通过,这里的f(t)和p(t)都是一阶一般线性微分方程的拟定解然而，给定技术操作仅限于单输入 虽然并行算法的求解速度比序列算法更快，但是与RK措施相比，MRDE在神经网络解决方案中还没有提出新的报告为了得到最优解，本文通过基于神经计算的途径求解MRDE而求解的措施就是在整个有限域找到一致精确性和纯熟的神经网络，从而提供一种简洁的解析解体现式并给出一种实例与RK措施相比，阐明该措施迅速、计算精确等优势和特点 本文组织如下：第二章，给出了问题的声明；第三章，提出了MRDE求解方案；第四章，讨论了数值算例；最后的结论部分论证了该措施的有效性2 问题的提出考虑到线性动态奇异系统,可以体现成如下形式: (1)某些状况下矩阵F也许是奇异的，是一种广义状态空间向量，是控制变量并且在欧氏空间有一定的值，W(t)是一种布朗运动，和 是已知的与x(t)和u(t)有关的系数矩阵，分别给出了初始状态向量和 为了使这两种状态和反馈控制系统的控制信号达到最小，一般是让这个二次型性能指标最小化：式中上标T指移位算子,和是的正定对称（或半正定）加权矩阵，R是u(t)的一种正定对称加权矩阵。

假设对于某些S有这种假设可保证任何输入u(t)会产生唯一的一种状态轨迹x(t)如果所有状态变量是可测量的，那么可以得到一种线性状态反馈控制律[文献1，36]可以给出此系统描述Eq.(1)，此处 (2)是一种对称矩阵并且是MRDE的解与MRDE有关的随机线性奇异系统(1)是： (3)它有终结条件和 3 MRDE的引入众所周知,最小化 J 相称于减少哈密顿量方程：在这里，通过最优轨迹运用随机最优性条件和随机极值原理[文献7]，我们所得到的哈密顿量方程这意味着 (4)和 (5)由(4)，我们得到： (6)由(2)，我们得到：并且我们有： (7)通过Eqs.(5)和(6)代入(7)，我们得到： (8) 这里，并且M是可积鞅 由于Eq.(8)合用于所有非零x(t)和M = 0，那么商定左乘 x(t)必须是零因此,我们得到如下随机线性奇异系统(MRDE) (1)该方程已经在第二节求解K(t)得到最优解。

在上述的方程式中运用合适的矩阵，将它们变成了一种奇异系统或者微分代数系统的一种指标该系统运用一次代数微分方程可以变形为一种系统的非线性微分方程因此，求解MRDE相称于求解系统的非线性微分方程4 MRDE的求解考虑系统的微分方程(3) (9)4.1 Runge–Kutta 法求解 在持续时间动力学中，常微分方程的数值解是最重要的技术由于大多数的微分方程是无法分析求解的，数值积分就是获得信息的唯一途径下面提出了几种措施，用于精确求解多种类型的微分方程她们是Runge-Kutta法，亚当斯前击法和向后微分公式法上述所有措施都能使微分系统离散化产生差分方程选择Runge-Kutta法的优势如下： 1.它采用四阶措施思想，因此与低阶措施相比有更精确解，如：泰勒法,欧拉法 2.它可以精确调节为每一种问题 3.它采用控制理论思想，能有效控制步长的大小 4.在该措施中，步长的大小变化比其她措施如BDF(向后微分公式法)更简朴RK算法已被觉得是常微分方程中数值积分最佳的工具(ODEs)系统(9)涉及带有n2变量的一阶常微分方程组特别是当n=2时，系统将涉及四个等式。

由于矩阵K(t)是对称的，并且该系统是奇异的，则k12 = k21且k22是不受约束的(令k22 = 0)最后，系统将具有两个变量和两个方程因此用RK思想将系统表达到具有两个变量的一阶常微分方程组其中用同样的方式，原系统(9)可以用品有 n2 的一阶常微分方程组求解4.2 神经网络求解在本措施中，新型前馈神经网络用于将Eq.(9)的误差解转变为求神经网络(9)的解误差解可表达为两个不同的术语如下(参见[22])： (10)第一种术语满足了TCs和涉及不可调和参数第二个术语采用一种前馈神经网络和同神经构造权重相应的参数Wij考虑一种拥有n个输入单位、n个反曲双隐层单位和一种线性输出设备的多层感知器对于一种给定的输入向量，网络输出为 (11)其中Wij指从输入单元 j 到隐藏单元 i 的权重，指从隐藏单元 i 到输出单元的权重，指隐藏单元 i 的偏移，是反曲的传递函数 式(11)的可微性的阶数和激活函数相似由于我们选择的sigmoid函数是无穷可微函数，就给定的输入，网络输出将是 (12)其中表达sigmoid函数就其标量输入，Eqs.(11)和(12)分别构成网络的输出和梯度方程。

误差量可由下式最小化 (13)神经网络进行训练，直到误差函数(13)变成零一旦趋于零，(10)的误差解就是神经网络方程(9)的解4.3 FFNN构造 FFNN构造由n个输入单元、一种涉及n个反曲单元隐层和一种线性输出每个神经元的输出是基于它的输入内积和合适的权值向量图1出了神经网络构造用来计算Nij 权重和网络偏差初始值遵循Nguyenand Widrow规则[文献26，27]该规则的作用是通过设定初始网络权重的隐层，每一种隐藏的节点分派自己的区间，从而加快训练过程在训练期间，网络训练的每个隐藏节点可以自由调节其区间的大小和它的位置函数在区域(0，1)内神经网络不是全开状态。