第二章参数估计理论4.pdf

SVD-LS 算法算法 SVD 定理：给定数据矩阵定理：给定数据矩阵()KM×A ,存在两个酉矩阵存在两个酉矩阵M M×V和和K K×U，使得，使得 1000H⎛⎞==⎜⎟⎝⎠ΣU AVΣ （（1）） 其中其中11122(,,...,)rrdiagσσσ=Σ且且1122...WWσσσ≥≥≥，，min(,)rK M≤ SVD 定理也可以写成如下形式：定理也可以写成如下形式： 11111000rHHHHiiiiiσ=⎛⎞====⎜⎟⎝⎠∑ΣAUΣVUVU ΣVuv，， （（2）） 其中其中iiuv和为列向量，分别称为列向量，分别称K M×A的左，右奇异向量的左，右奇异向量 又由于又由于 221000HH⎛⎞==⎜⎟⎝⎠ΣVA AVΣ或者或者2HH=A AVΣ V （（3）） 因此因此V的列向量的列向量iv 是是()HM M×A A的特征向量， 其对应的特征值是的特征向量， 其对应的特征值是A的奇异值的奇异值iσ的平方的平方2iσ 同理，同理， U的列向量的列向量iu是是HAA的特征向量， 其对应的特征值是的特征向量， 其对应的特征值是A的奇异值的奇异值iσ的平方的平方2iσ。

由奇异值分解定理，由奇异值分解定理，可以定义可以定义A的一个更广义的伪逆矩阵的一个更广义的伪逆矩阵 1†110100rHHiiiiiσ−=⎛⎞==⎜⎟⎝⎠∑ΣAVUv u （（4）） 原先原先Aw = b的最小二乘解即为求的最小二乘解即为求A的广义逆的广义逆 †1()HH−==wA bA AA b （（5）） 当当A非列满秩非列满秩（因为这里只讨论超定情况，所以只考虑非列满秩，而在欠定情况下应为非行满秩）（因为这里只讨论超定情况，所以只考虑非列满秩，而在欠定情况下应为非行满秩）所以所以HA A非满秩，即非满秩，即1()H−A A不存在，因此（不存在，因此（5）式无法实现这时，用（）式无法实现这时，用（4）式可得最小二乘解）式可得最小二乘解 1†1111110100rHHHiiiiiσ−−=⎛⎞====⎜⎟⎝⎠∑ΣwA bVU bV ΣUv u b （（6）） 当当HA A满秩时满秩时 LS 解是唯一的，用（解是唯一的，用（6）式和用（）式和用（5）式给出的）式给出的 LS 解是一致的，当解是一致的，当HA A非满秩时， （非满秩时， （5）式不可用，）式不可用，LS 解有很多个，其中解的模值最小的只有一解有很多个，其中解的模值最小的只有一个，这就是（个，这就是（6）式给出的）式给出的 SVD 解。

从这个意义上，解从这个意义上，SVD-LS 解法更通用解法更通用 问题问题 1：虽然在理论上：虽然在理论上ir>时奇异值时奇异值0iσ=，但实际上，由于有计算误差等因素存在，，但实际上，由于有计算误差等因素存在，ˆiσ在在ir>时并不等于零时并不等于零 有效秩：有效秩确定有两种常用方法有效秩：有效秩确定有两种常用方法 计算归一化奇异值：计算归一化奇异值： 1ˆˆiiσσσ=，且，且kσε≥，可取，可取0.05ε=等；等； 范数比方法：范数比方法：2221222212...( ), min(,)...kkFFhv khK Mσσσασσσ+++==≥=+++AA，可取，可取0.98α=等 问题问题 2： （： （6）式这种最小二乘解包含了）式这种最小二乘解包含了M个解参数，即个解参数，即w有有M个元素然而，由于个元素然而，由于Aw = b中中A非列满秩（假设秩为非列满秩（假设秩为r）意味着）意味着w中只有中只有r个参数是独立参数，而其它参数是这个参数是独立参数，而其它参数是这r个参数是独立参数线性相关的结果许多场合我们需要求出这个参数是独立参数线性相关的结果许多场合我们需要求出这r个独立（线性无关）的参数，而剔除包含冗余因素的个独立（线性无关）的参数，而剔除包含冗余因素的Mr−个参数。

怎么办？个参数怎么办？ ——利用——利用 SVD 进行子集选择，进行子集选择，Golub 等提出低秩等提出低秩 LS 方法（ 《矩阵分析与应用》 ） 方法（ 《矩阵分析与应用》 ） 总体最小二乘之总体最小二乘之 SVD-TLS 算法算法 基本思想：不仅用扰动量基本思想：不仅用扰动量e去干扰数据向量去干扰数据向量b，而且用扰动矩阵，而且用扰动矩阵E去干扰数据矩阵去干扰数据矩阵A，使之联合最小化使之联合最小化 即即 ()++AE x = be （（7）） 或或 [] []1(,,)0⎡ ⎤−+ −⎢ ⎥⎣ ⎦b Ae E=x （（8）） 等价为等价为 0(B+ D)z = （（9）） 其中增广矩阵其中增广矩阵[],= −Bb A和扰动矩阵和扰动矩阵[],= −De E均为均为(1)mn×+维矩阵，维矩阵，1⎡ ⎤=⎢ ⎥⎣ ⎦zx为为(1)n+维列向量维列向量 TLS 方法表述为求解向量方法表述为求解向量z，使得，使得 1/2211minmnijFijd==⎛⎞==⎜⎟⎝⎠∑∑D （（10）） 总体最小二乘问题归结为， 求一个具有最小范数的扰动矩阵总体最小二乘问题归结为， 求一个具有最小范数的扰动矩阵(1)mnC×+∈D使得使得B+ D非满秩，因为如果满秩则只有平凡解非满秩，因为如果满秩则只有平凡解0z =。

设设B的有效秩为的有效秩为p，且，且 H=BUΣV （（11）） 令令(1)mn×+矩阵矩阵ˆB是是B的最佳逼近，则的最佳逼近，则 ˆHp=BUΣ V （（12）） 原方程（原方程（9）可以转化为）可以转化为 ˆ0Bz = （（13）） （低秩方法） 接着令（低秩方法） 接着令(1)mp×+维矩阵维矩阵ˆ( ,)j jp+B是是ˆB的第的第 j 列到第列到第 j+p 列组成 的 子 矩 阵 ， 这 样 的 矩 阵列组成 的 子 矩 阵 ， 这 样 的 矩 阵ˆ( ,)j jp+B共 有共 有n+1-p个 ， 即个 ， 即ˆˆ(1,1),... (1,1)pnp n++ −+BB B的有效秩为的有效秩为p意味着未知参数向量意味着未知参数向量x中只有中只有 p 个是独立的，不妨令这些参数是个是独立的，不妨令这些参数是x的前的前 p 个参数，它们连同个参数，它们连同 1 一起构成一起构成(1) 1p+×维向量维向量1[1,,...,]Tpxx=α。

则（则（13）式所示的方程求解可以变为如下）式所示的方程求解可以变为如下 n+1-p 个方程组的求解：个方程组的求解： ˆ( ,)0, 1,...,1j jpjnp+==+ −Bα （（14）） 或写为或写为 ˆ(1,1)ˆ(2,2)0 ˆ(1,1)ppnp n⎡⎤+⎢⎥+⎢⎥=⎢⎥⎢⎥⎢⎥+ −+⎣⎦BBαB? （（15）） 该方程组的最小二乘解等价于使下列代价函数最小化该方程组的最小二乘解等价于使下列代价函数最小化 ˆˆˆˆ( )(1,)(1,1)...(1,1)(1,1)HHfjppnp nnp n⎡⎤⎡⎤=+++++ −++ −+⎣⎦⎣⎦αBαBαBαBα（（16）） 令令(1) (1)pp+×+维矩阵维矩阵 1( )1ˆˆ( ,) ( ,)nppHii ipi ip+ −==++∑SBB （（17）） 则代价函数（则代价函数（16）式可以写为：）式可以写为： ( )( )Hpf=αα Sα (18) 使其最小化，就是使使其最小化，就是使( )0f ∂=∂αα，于是，于是 ( )pγ=Sαe （（19）） []1,0,...,0T=e,γ为使参数向量为使参数向量α第一个元素为第一个元素为 1 的归一化常数。

的归一化常数 所以求得的待估计参数为所以求得的待估计参数为 ( )( )ˆ(1,1)/(1,1), 1,...,ppixiip−−=+=SS （（20）） 。