第十一章最小二乘问题.pdf

236第十一章 最小二乘问题 第十一章 最小二乘问题 一、内容提要 一、内容提要 §11.1 最小二乘问题 11.1 最小二乘问题 1．． 定义定义 给定矩阵nmRA×∈，向量mbR∈，求nRx ∈0，使得 0|||| min |||| nx RbAxbAx ∈−=−, 称上述问题为线性最小二乘线性最小二乘问题，简称为最小二乘问题；称解0x为最小二乘解最小二乘解 最小二乘问题也可以看作是线性方程组 ,m nAxbAR×=∈ 的最小二乘问题，相应地最小二乘解0x称为线性方程组的最小二乘解 2．． 数学性质数学性质 定理 1定理 1 最小二乘问题的解恒存在；且解唯一的充分必要条件是 nArank=)( 定理 2定理 2 最小二乘解满足方程组 TTA AxA b=， 反之，若x是上述方程组的解，则其是最小二乘解 称上述方程为最小二乘问题的正规方程组正规方程组（或法方程组法方程组或 Euler 方程方程） 3．． QR 分解分解 定理 3定理 3 设矩阵nmRA×∈列满秩，即nArank=)(。

则存在列标准正交矩阵nmRQ×∈及非奇上三角矩阵nnRR×∈，使得 QRA =， 且在约定 R 的对角元素0>iir情形下，上述分解唯一, 称之为矩阵A的 QR 分解分解 所谓列标准正交矩阵 ()nQL1=，指的是列向量组标准正交，也即ET= 利用 QR 分解，可计算出最小二乘解： 2371） 作矩阵A的 QR 分解，QRA=； 2） 求解上三角方程组，TRxQ b= 4．． 相关概念相关概念 设1(,,)m n nAaaR×=∈L，定义矩阵A的值域值域为， },|{)(nRxAxyyAR∈==1( ,,)nL aa=L； 矩阵A的零空间零空间定义为 . }, 0|{)(nRxAxxAN∈==， 定理 4定理 4 )()(TANAR=⊥， )()(ANART=⊥ §11.2 奇异值分解 §11.2 奇异值分解 1．． 定义与结论 定义与结论 设矩阵nmRA×∈，则AAT的特征值为 1210rrnλλλλλ+≥≥≥>===LL， 称niii,, 1,L==λσ为矩阵A的奇异值奇异值；并称1,rσ σ为A的最大奇异值和最小奇异值 定理 1定理 1 设矩阵nmRA×∈，则存在m阶正交阵U和n阶正交阵V，使得 Tm nOU AVOO×Σ⎛⎞=⎜⎟⎝⎠， 其中ridiagir,, 1, 0),,,(1LL=>=Σσσσ， 上式等价于， TVOOOUA⎟⎟ ⎠⎞ ⎜⎜ ⎝⎛Σ=， 称其为矩阵A的奇异值分解奇异值分解。

称V的列向量iv为矩阵A的对应iσ的单位右奇异向量右奇异向量； 称U的列向量iu为矩阵A的对应iσ的单位左奇异向量左奇异向量 定理 2定理 2 设矩阵nmRA×∈有上述奇异值分解记 ()muuUL1=，()nvvVL1=，238则成立 （1）rArank=)(； （2）()ruuLARL1)(=； （3）()nrvvLANL1)(+=； （4）T rrrTvuvuAσσ++=L111； （5）22 1 112 rminjijaσσ++=∑∑ ==L 2．奇异值分解在计算最小二乘问题中的作用 ．奇异值分解在计算最小二乘问题中的作用 设 rArankRAnm=∈×)(,，mbR∈，考虑最小二乘问题， min|||| nx RbAx ∈−, 当nrArank⎜⎟⎝⎠满足. TV VE=证明1V的奇异值皆小于等于 1 7． 设11 11A−⎛⎞=⎜⎟−⎝⎠，()BAA=， （1） 分别写出矩阵,A B的奇异值分解； （2） 观测它们的关系，是否可以利用A的奇异值分解，而直接写出B的奇异值分解； （3） 考虑一般矩阵A情形：利用A的奇异值分解，写出B的奇异值分解。

8． 设1,,pσσL是mn×矩阵A的非零奇异值，min{ , }pm n=，证明 TOA AO⎛⎞ ⎜⎟⎝⎠具有非零奇异值1,,pσσL，1,,pσσ−−L.和||mn−个零奇异值 9． 计算矩阵345 217A⎛⎞=⎜⎟⎝⎠的奇异值分解 10． 利用矩阵A的奇异值分解，证明矩阵A的极分解定理：设m nAR×∈， （1） 若nm≥， 则 APY=， 其中 m mPR×∈ 是半正定矩阵，m nYR×∈满足T mYYE=； （2） 若mn≥，则 AXQ=， 其中 n nQR×∈ 是半正定矩阵，m nxR×∈满足T nX XE= （3） 若mn=， 则 APWWQ==， 其中,n nP QR×∈是半正定矩阵，n nWR×∈为正交阵 11 证明HH+=.成立的充分必要条件是 2H为对称的幂等矩阵且 2rankHrankH= 12 证明：若A是正规矩阵（即TTA AAA=） ，则A AAA++= 13 验证 541312426123033G−−⎛⎞ ⎜⎟=−−⎜⎟⎜⎟−⎝⎠是矩阵 101 111 012 111A−⎛⎞ ⎜⎟−−⎜⎟=⎜⎟− ⎜⎟⎝⎠.的广义逆 14． 记1111,BA ABAAB B++==，证明 111111;()()ABABABABB A++++===， 243（1） 分别写出矩阵,A B的奇异值分解； （2） 观测它们的关系，是否可以利用A的奇异值分解，而直接写出B的奇异值分解； （3） 考虑一般矩阵A情形：利用A的奇异值分解，写出B的奇异值分解。