几种最小二乘法递推算法的小结.docx

一、 递推最小二乘法递推最小二乘法的一般步骤：1. 根据输入输出序列列出最小二乘法估计的观测矩阵®:申(k) = [—y(k — 1)・・・—y(k — n ) u(k —1)・・・ u(k — n )]tqb没有给出输出序列的还要先算出输出序列本例中，9 (k) = [-y(k - 1),-y(k - 2), u(k -1), u(k -2)]t 2. 给辨识参数9和协方差阵P赋初值一般取9°二0或者极小的数，取P =◎ 2IQ特别大, 本例中取b二1003. 按照下式计算增益矩阵G：P(k —1)9 (k)1 + p (k) TP (k —1)9 (k)4. 按照下式计算要辨识的参数9 ：9( k) =9 (k — 1) + G (k)[ y (k) —9 (k) t9 (k — 1)]5. 按照下式计算新的协方差阵P：P(k) = P(k —1) — G(k)9 (k)T P(k —1)6. 计算辨识参数的相对变化量，看是否满足停机准则如满足，则不再递推；如不满足，则从第三步开始进行下一次地推，直至满足要求为止停机准则： maxi3 (k) —3 (k — 1)—i X i 3 (k)i本例中由于递推次数只有三十次，故不需要停机准则。

7. 分离参数：将a・・・.a b・・・.b从辨识参数9中分离出来1 na 1 nb8. 画出被辨识参数9 的各次递推估计值图形为了说明噪声对递推最小二乘法结果的影响，程序5-7-2在计算模拟观测值时不加噪 声， 辨识结果为a1 =， a2 = ， b1 = ， b2二，与真实值a1 =， a2 = ， b1 = ， b2二相差无几程序5-7-2-1在计算模拟观测值时加入了均值为0，方差为的白噪声序列，由于噪声的 影响，此时的结果为变值，但变化范围较小，现任取一组结果作为辨识结果辨识结果为 a1 =， a2 =， b1 = ，b2 =程序5-7-2-2在计算模拟观测值时加入了有色噪声，有色噪声为E(k) + (k-1) + (k-2), E(k)是均值为0,方差为的白噪声序列，由于有色噪声的影响，此时的辨识结果变动范围远 比白噪声时大，任取一组结果作为辨识结果辨识结果为a1二，a2二，b1二，b2二可以看出,基本的最小二乘法不适用于有色噪声的场合二、 广义最小二乘法广义最小二乘法适用于AR模型，它的基本思想在于对数据先进行一次白化滤波处理，然 后利用基本的最小二乘法对滤波后的数据进行辨识。

广义最小二乘法的递推算法步骤如下：1. 给定初始条件：◎(0) = 0或者极小值P⑴(0) 2IQ特别大)0 (e )(0) = 0P(e)(0) = I2. 利用I y (f)(k) = C (z -1) y (k)[u ⑴(k) = C (z -i)u (k)计算 y (f)(k)及 u (f )(k)3. 利用申(/)(k) = [—y(/)(k — 1) ... — y(/)(k — n ) u(/)(k — 1)...u(/)(k — n )]tqb构造滤波后的观测矩阵® (f)(k)本例中，申(f)(k) = [-y(f)(k-l),-y(f)(k-2),u(f)(k-l),u(f)(k-2)]T 4. 利用下式估计递推计算『N +1G(k) =0(k -1) + G(k)(f)[y(k)(f)(k)(f)TG(k -1)] «(k)( f)= P(k - l)(fg)(f)1 + 申(k)(f)TP (f)N 申(k)(f)P(k)(f)= P(k -1)(f)- G(k)(f 叩(k)(f)t P(k -1)(f)5. 由新得到的『(k)计算出新的残差估计值e(k)，并构造残差数据向量由滤波前的观测向量9(k)二[-y(k -1) ... - y(k -n ) u(k -1)... u(k -n )]T 计算出新的残差估计值e(k)abe(k)二 y(k)-9(k)T°(k)残差数据向量9(e)(k) - [-e(k -1)…-e(k - n )]t。

c6.利用下式估计递推计算d(k)(e)O(k)(e) =0(k - 1)(e) + G(k)(e)[2(k)-9(k)(e)T0(k - 1)(e)](k )(e)=P(k -1)(e)9(k)(e)1 + 9(k)(e)T P(k - 1)(e) 9(k)(e)1P(k)(e) = P(k - 1)(e) - G(k)(e)9(k)(e)T P(k - 1)(e)7.返回第2步进行迭代计算，直至获得满意的辨识结果程序5-7-4使用广义最小二乘法，得到的结果为a1二，a2二，b1二，b2二，cO二，c1 二，结果al、a2、bl、b2与真实值结果al =, a2 =， bl =，b2二较为接近，但cO、cl 与真实值1、相差较远三、 增广最小二乘法增广最小二乘法是最小二乘法的一种推广，它只是扩充了参数向量0和数据向量9 (k)的 维数，在辨识过程中考虑了噪声模型的参数，适用于MA模型增广最小二乘法的一般步骤如下：1.根据输入输出序列以及噪声序列列出增广最小二乘法估计的数据向量9 ：9(k) = [—y(k — 1) ... — y(k — n ) u(k — 1)... u(k — n ) £(k) £(k — 1)... £(k — n ) ]Ta b d没有给出输出序列的还要先算出输出序列。

本例中，9(k)二[-y(k-1),-y(k-2),u(k-1),u(k-2),8(k),8(k — 1),8(k — 2)]t9.给辨识参数0和协方差阵P赋初值一般取0°=0或者极小的数，取P二b 2I,b特别大,本例中取b =100010.按照下式计算增益矩阵G：P(k - 1)p (k)11.按照下式计算要辨识的参数0 :G(k) — 1 + 9 (k) TP (k —1)9 (k)0(k) =G(k -1) + G(k)[y(k)―甲(k)T0(k -1)]12.按照下式计算新的协方差阵P：P(k)二 P(k — 1) — G (k加(k) t P(k — 1)13.计算辨识参数的相对变化量，看是否满足停机准则0如满足，则不再递推；如不满足，则从第三步开始进行下一次地推，直至满足要求为止0停机准则： max3 (k) —3 (k — 1)—i X i 3 (k)i本例中由于递推次数只有三十次，故不需要停机准则014.分离参数：将a・・・.a b・・・.b d d从辨识参数0中分离出来1 na 1 nb 1…nd15.画出被辨识参数0 的各次递推估计值图形0由以上可见，递推增广最小二乘法的算法与基本最小二乘法的递推算法形式是一致的，只是参数向量0和数据向量9 (k)的维数扩充了 m维。

程序5-7-5在是运用增广最小二乘法来辨识系统参数，得到的结果为a1 =，a2 =，b1=，b2 =， dO二，d仁,d2二与真实值 a1 =， a2 = ， b1 二，b2 二，d0=1， d仁a1=,d2=a2=相 差无几0。