人工智能技术在宽域飞行器控制中的应用.docx

    人工智能技术在宽域飞行器控制中的应用    魏毅寅，郝明瑞，范 宇(1. 中国航天科工集团有限公司，北京 100048；2. 北京机电工程研究所，北京 100074；3. 复杂系统控制与智能协同技术重点实验室，北京 100074)0 引 言近年来,以空天飞行器、高超声速飞行器等[1]为典型代表的宽域飞行器蓬勃发展,如图1所示,其不仅对高端装备制造、空间信息以及太空经济等领域产生辐射带动作用,进一步提升了中国在航空航天领域的自主创新能力,同时也催生出新质作战能力,带来战争模式的巨变,成为维护国家安全的战略重器[2]由于宽域飞行器所覆盖的空域范围从几千米到上百千米,马赫数从0跨越至25甚至更高,外形多采用大升力体及复杂翼舵构型,飞行器动力系统与机体高度融合设计,内外流场耦合特性显著,如图2所示;严酷气动加热会引发结构弹性变形,进一步加剧气动/热/结构/控制的耦合,使动力学特性更为复杂;同时由于目前地面风洞难以准确模拟高马赫飞行环境,使得控制系统所依赖的气动参数存在较大的天地差异[3]因此,该类飞行器具有显著的强耦合、强非线性、强时变特征,难以建立较为准确的数学模型描述,对控制系统设计提出了很多新问题与新挑战,需要持续开展控制新理论与新方法的研究探索。

图1 典型宽域飞行器Fig.1 Typical wide-field vehicles图2 复杂内外流耦合特性Fig.2 Coupling of internal and external flow fields近年来,随着人工智能技术的发展和广泛应用,深度神经网络展现出良好的对多维复杂特征的泛化表达能力,使得以深度学习为代表的智能技术在图像处理、语音识别等领域得到了成功的应用[4],因此开展人工智能技术在飞行控制中的应用研究,有望为解决宽域飞行器高品质控制问题提供新的技术途径1 宽域飞行器控制技术研究现状及局限性分析为了增强控制系统对宽域飞行器复杂特性(强耦合、强非线性、强时变、大不确定性)的适应能力,提升控制品质,国内的研究学者开展了广泛深入的探索和研究,主要采用的技术途径可以分为两种第一种途径是从增强系统鲁棒性着手,利用增益调度等措施,确保系统稳定裕度,提升对被控对象模型不确定性的容忍度基于经典控制理论的PID控制方法,不依赖被控对象的精确动力学模型,易于实现,且利用幅值裕度和相位裕度可量化评估控制器鲁棒性能,是目前工程中应用最为广泛的控制方法为增强控制系统对复杂特性的适应能力,会根据飞行器在不同任务特征点的特性,利用可观测参数对PID控制增益进行实时调度[5]。

基于现代控制理论的鲁棒控制方法,其核心思想是将模型不确定视为对系统标称条件的扰动,在保留系统精确建模部分稳定性的同时,保留一定的稳定裕度,从而保证当系统存在模型不确定和外部扰动的情况下整个系统的稳定[6]第二种途径是从提升系统自适应性着手,利用实时状态观测与估计,辨识出被控对象关键特性,提高对飞行器模型的认知度自抗扰控制方法主要以PID控制构型为基础,对于具有大不确定性和复杂非线性等特性的飞行器,考虑到飞行过程中所受的外界干扰等影响,采用扩张状态观测器对被控对象的状态和干扰进行观测,通过状态误差反馈,对不确定干扰因素进行补偿,从而实现抑制干扰和精确跟踪指令[8]非线性动态逆控制方法的核心为通过非线性动态逆来消除系统中存在的非线性,从而实现系统的“伪线性化”,在此基础上可以采用其他线性化和非线性化方法设计系统控制器,实现对非线性系统的控制针对被控对象存在的模型不确定性和外界干扰,可以利用状态观测对模型进行辨识补偿,再利用非线性动态逆方法获得理想的控制品质[10]上述两种途径能够在一定程度上提高控制系统对复杂特性的适应能力,但是随着宽域飞行器任务剖面更加多样,飞行空域速域跨度更广,外形特性更为复杂,现有的控制方法逐渐暴露出一定的应用局限性。

1)对于利用飞行特征参数进行增益调度的途径,针对特性复杂度较高的宽域飞行器,可能对应同一飞行特征点,动力学特性存在较大范围的变化,且表征该变化的特性参数为隐性,不可观测,因此会导致无法对控制增益进行有效的调度[11]以某一飞行特征点为例,当在该特征点气动压心存在较大范围的不确定性时,虽然控制参数能够保证在基准状态下性能稳定,但是由于压心变化特性不可观测,控制参数无法跟随该状态变化做出及时调整,导致控制参数与飞行器特性不匹配,从而出现稳定裕度下降、控制失稳的现象两种状态下的定点时域响应情况如图3所示图3 定点状态下时域响应对比Fig.3 Comparison of step responses2)对于利用实时状态观测和补偿来提升对模型认知度的途径,由于采用的状态观测器自身也需要依靠基础的被控对象模型建立状态方程和观测方程,但是当被控对象模型复杂度过高,难以直观采用状态空间进行数学表达,因此建立状态观测器所使用的模型相对真实模型存在偏差,进而影响其状态估计与辨识的精度,大大削弱观测补偿效果,甚至可能失效2 人工智能技术在宽域飞行器控制中的应用研究随着近年人工智能技术的飞跃发展,以机器学习算法为代表的智能算法研究引领了第三次人工智能浪潮,其中深度神经网络由于具备映射能力好、学习能力强、适应性广、纯数据驱动等优点,在图像识别、自然语言处理、健康医疗等任务中得到非常广泛而成功的应用。

作为机器学习中的重要组成分支,强化学习针对马尔可夫决策问题,通过与被控对象的不断交互和迭代学习,生成可供全局决策的最优策略,可用于解决智能决策问题而进一步将深度神经网络与强化学习相结合,形成深度强化学习,更适合解决复杂且难以建模的应用场景问题,围棋AlphaZero使用的就是深度强化学习算法针对前述分析的现有控制方法在宽域飞行器控制中可能存在的局限性,本文重点从两种技术途径出发就人工智能技术在飞行控制中的应用开展研究第一种是基于智能特征辨识的控制方法,即利用深度神经网络辨识飞行器隐性关键特征,实现控制增益的精准调度,提升对不确定性的自适应能力;第二种是基于深度强化学习的控制方法,利用深度神经网络建立神经网络动力学对飞行动力学的映射表达,以指令信号和实时状态为神经网络输入,以执行机构控制信号为神经网络输出,实现“端对端”控制,弱化对飞行器复杂动力学建模的依赖以下结合典型示例对两种途径的研究情况进行介绍2.1 基于智能特征辨识的控制方法仍以前述气动压心存在不确定性的情况为例,当在相同飞行状态(相同的高度、速度、姿态)下,飞行器气动压心可能存在较大范围变化时,由于压心变化为隐性特征,不可观测,因此会造成控制增益无法根据实际特性做出及时调整,从而导致控制性能恶化,严重时可能出现失控的情况。

为此,考虑利用深度神经网络的泛化特征拟合能力,构建智能观测器,对表征气动压心变化的动力系数进行辨识,并利用辨识结果进行增益调度,以提升对飞行器特性的大范围变化的适应能力辨识原理如图4所示图4 基于智能特性辨识的控制方法原理图Fig.4 Schematic diagram of the control method based on intelligent characteristic identification根据飞行动力学[12],基于系数冻结和小扰动线性化处理,可以得到飞行器纵向短周期扰动运动方程:(1)式中:Δϑ, Δθ, Δα, Δδz分别是俯仰角、弹道倾角、攻角和升降舵舵偏角的扰动偏量;aij是动力系数:(2)式中:a22为阻尼动力系数;a24为静稳定动力系数;a25为操纵动力系数;a34为法向力动力系数;a35为舵面动力系数因为a24能够表征飞行器气动压心变化的情况,因此将其作为神经网络辨识输出参数辨识网络设计为包含BatchNormal层的残差网络,如图5所示图5 参数辨识网络结构Fig.5 Structure of the parameter identification network通过对a24理论计算公式和气动参数影响因素进行分析,确定a24辨识网络的输入如表1所示。

表1 辨识网络输入特征参数Table 1 Input characteristic parameters of the identification network利用六自由度弹道仿真数据构建训练和测试样本,对网络参数进行训练,将通过测试集测试的参数辨识网络移植入六自由度弹道仿真中,静不稳定度辨识结果如图6所示,辨识误差不大于10%仿真结果表明所设计的辨识网络能够实现较好的静稳定度辨识性能,根据辨识结果实时调整控制参数,可有效提高现有控制方法对不确定度的适应能力图6 参数辨识结果Fig.6 Results of parameter identification2.2 基于深度强化学习的控制方法基于深度强化学习的智能控制方法是直接将深度神经网络作为控制器,利用控制网络与训练环境的交互产生训练数据,并按照设计的评价准则逐步改善网络的控制性能,最后学习到满足精度需求的控制器基于深度强化学习的智能控制方法分为地面训练阶段和线上部署阶段两个环节控制系统原理如图7所示工作原理为策略网络以系统状态S为输入生成控制动作a,强化学习训练环境输入控制动作a后进行动力学解算,并向策略网络反馈系统当前状态S、当前控制动作a、奖励值r和下一时刻状态S_;评估网络以系统状态S为输入预测状态值v(s)。

分别利用行动值q(s,a)与理论状态值yi更新策略网络参数和评估网络参数,直至收敛获得满足精度要求的控制网络参数图7 基于深度强化学习的智能控制原理图Fig.7 Schematic diagram of the intelligent control method based on deep reinforcement learning基于端到端架构的智能控制器,根据飞行状态直接产生控制信号,不同的控制网络直接影响控制器训练速度和控制精度本文设计了一种卷积神经网络,控制网络结构如图8所示图8 深度卷积神经网络结构图Fig.8 Structure of deep convolutional neural network在设计奖励值函数时要充分考虑控制网络所产生控制信号的分布情况设计的奖励函数如下:(3)设计攻角指令,利用深度神经网络控制器实现对攻角指令跟踪,训练中攻角指令在4°～8°之间随机取值,测试时选择4°～12°之间的指令进行仿真,结果如图9所示图9 角控制结果Fig.9 Results of angle of attack control可以看到神经网络控制器很好地跟踪了控制指令,在控制器训练中,训练数据虽然仅仅覆盖到4°攻角指令和8°攻角指令之间,但当给入训练数据范围之外的12°攻角指令时,神经网络控制器仍能够很好地实现控制指令跟踪,跟踪误差小于5%。

仿真结果表明,神经网络控制器可以实现飞行器姿态稳定控制,且具有一定的泛化性能3 未来持续研究方向展望人工智能技术与宽域飞行器控制技术相融合具有显著的学术和应用前景,但是在探索之路上还应保持清醒的认识,不能过度神话人工智能技术的能力,应重点围绕经典动力学、飞行控制技术与人工智能技术的创新性结合,面向未来真正的转化应用,持续探索推进以下结合目前的研究进展,提出几点未来需要进一步深入研究的方向展望1)加强智能动力学建模技术研究宽域飞行器控制最大的难题在于其复杂动力学特性的模型表达目前进行探索的人工智能与飞行控制的结合途径更多关注的是控制本身,而对动力学部分关注比较少由于飞行动力学具有比较成熟的模型基本形式和解析表达式,这些先验信息的充分利用可有效降低问题的复杂性和学习样本的需求量,因此在动力学建模中融合人工智能技术相对控制技术融合具有更加明显的优势,更加易于人工。