系统辨识课件-3-2011.ppt

近代辨识：最小二乘法、极大似然法辨识对象：以单输入单输出系统差分方程为模型辨识内容：系统模型参数和系统模型阶次n学习内容：各种参数估计算法的推导、特点、流程、优缺点及适用范围第3章 最小二乘法辨识3.1 基本的最小二乘估计解决问题：在模型阶次n已知的情况下，根据系统的输入输出数据，估计出系统差分方程的各项系数式中，x(k)为理论输出值，y(k)为实际观测值，v(k)为观测噪声则有：1.基于输入/输出数据的系统模型描述SISO系统的差分方程为将x(k)代入上式，可得输入输出数据方程为：则当前输出为：设观测数据有(n+N)个，令k分别等于n+1,···,n+N,则有：上式写成向量形式为：记为 ：输出向量 测量矩阵 参数矩阵 噪声矩阵 数据长度N(注：实际数据个数为n+N)若N=(2n+1)且ξ=0，则上式中的φ阵为(2n+1)×(2n+1)的方阵由此，可解得θ的唯一解为：而在实际工程中，ξ肯定不等于0，且N>>(2n+1)，即方程个 数远大于未知数，故而上述θ的解不成立当前任务： 在存在噪声ξ和数据长度N>>(2n+1)的情况下，如何进行参数θ的估计3.1)即2.基本的最小二乘法(LS)辨识准则：残差平方和最小。

为模型的计算值，即(1)残差e(2)指标函数J故而，最小二乘法辨识就是使J最小的参数估计方法 即有 ：下面我们推导θ估计值的计算方法J取得最小值，也即J为极值，则有：其中 ,为(2n+1)×(2n+1)的方阵若其逆阵存在，则：(3.2)上式即为最小二乘法的参数估计结果讨论：理论上，偏导为0只能说明J取得极值可能为极大值，也可能为极小值也即φTφ为正定阵而φ阵为测量矩阵，它由输入/输出数 据组成，故而“φTφ为正定阵”必与输入信号u(k)密切相 关因此，需要讨论LS方法对输入信号的要求使J为极小值的条件为：3. 最小二乘法对输入信号的要求主要讨论对输入信号u(k)的要求 其中，则当N→∞时，有：于是有：J取得极小值→φTφ正定→R正定→Ru正定因此：J取得极小值的必要条件为Ru为正定阵这就是最小二乘法对输入信号的要求定义：如果序列{u(k)}的(n+1)阶方阵Ru是正定的，则称序列{u(k)}为(n+1)阶持续激励信号因此，最小二乘法对输入信号的要求为：{u(k)}为(n+1)阶持续激励信号哪些输入信号{u(k)}的Ru是强对角线占优矩阵？以下输入信号均能满足Ru正定的要求：(1)白噪声序列；(2)伪随机二位式噪声序列；(3)有色噪声随机信号序列。

工程上常用“伪随机二位式噪声序列”、“有色噪声随机信号序列”作为输入信号考查若Ru为强对角线占优矩阵，则Ru正定4. 最小二乘估计的概率性质最小二乘估计的概率性质主要有以下四方面：(1)估计的无偏性；(2)估计的一致性；(3)估计的有效性；(4)估计的渐进正态性我们主要讨论前两项：无偏性和一致性1)估计的无偏性无偏性估计的定义 ：若，则称 是参数θ的无偏估计 下面讨论无偏估计的条件3.3)LS无偏估计的充要条件为 ：下面讨论无偏估计的充分条件考查充要条件由上式可知：y(k)只与ξ(k),ξ(k-1),ξ(k-2)···相关，而与ξ(k+1),ξ(k+2),ξ(k+3) ···不相关若{ξ(k)}为零均值不相关随机序列，且与{u(k)}无关则由上式可知，ΦT与ξ不相关则有 ：可见，在上述条件下我们得到了参数θ的无偏估计 {ξ(k)}为零均值不相关随机序列，且与{u(k)}无关 LS无偏估计的充分条件为 ：(2)一致性估计一致性估计的定义 ：若，则称 是参数θ的一致性估计 若参数估计值以概率1收敛于真值θ，则称估计值具有一致性或采用下述定义：式中，为估计误差 的方差 下面讨论一致性估计的充分条件。

估计误差的方差为：一致性估计的充分条件为：同样，假设{ξ(k)}为零均值不相关随机序列，且与{u(k)}无关则ΦT与ξ不相关,且有：{ξ(k)}为零均值不相关随机序列，且与{u(k)}无关3) 估计值的有效性有效性的定义：若参数估计误差的方差达到最小值，则称该估计值是有效估计值LS有效估计值的充分条件：{ξ(k)}是零均值且服从正态分 布的白噪声序列 (4) 估计值的渐近正态性渐近正态性的定义：若参数估计值服从正态分布，则称该估计值是渐近正态的LS渐近正态性的充分条件：{ξ(k)}是零均值且服从正态分 布的白噪声序列 (5) 基本最小二乘估计存在问题无偏性和一致性估计的充分条件均为：{ξ(k)}为零均值不相关随机序列，且与{u(k)}无关考查相关也就是说即使在v(k)为白噪声的条件下，{ξ(k)}为相关随机序列故而基本最小二乘估计是有偏估计，必须对基本最小二乘法进行改进1.递推算法推导3.2 递推最小二乘法解决问题：(n+N)组观测数据时的参数估计值已知，现在又得到了一组新的观测值(u(n+N+1),y(n+N+1))，如何采用最小二乘法进行估计新的估计值问题假设已获取了数据长度为N的I/O数据，则由LS估计有：记 ：，则可写成：现获得了一组新的I/O数据值：u(n+N+1)、y(n+N+1)。

需推导出的计算公式，即(n+N+1)时刻的观测值y(n+N+1)可表示为：则上式可写为 ：则由最小二乘(LS)可得(n+N+1)时刻的参数估计值为 ：则输入输出方程可写成分块矩阵形式：(3.4)上式记为 ：现在的主 要任务是 求解矩阵 的逆矩阵求逆引理：若相应矩阵的逆均存在，则有对照，令 ：则有考查矩阵的维数 ：可见，矩阵求逆运算转化为求标量的倒数运算 将代入的表达式，经整理有：(3.5)由(3.5)式可得LS的递推算法：递推过程 ：(3.6)上述递推算法的运行需获取两个初值 ：初值获取方法 ：证明：基本最小二乘离线算法与递推算法的结果完全一致.注：。