大连理工大学计算机科学计算第二章5.pdf

2.4 矩阵的奇异值分解矩阵的奇异值分解对于方阵,利用其特征值和特征向量可以刻画矩阵的结构对长方阵情形,这些方法已经不适用而推广的特征值--矩阵的对于方阵,利用其特征值和特征向量可以刻画矩阵的结构对长方阵情形,这些方法已经不适用而推广的特征值--矩阵的奇异值分解奇异值分解理论能改善这种情况利用奇异值和奇异向量不仅可以刻画矩阵的本身结构,而且还可以进一步刻画线代数方程组的解的结构,是构造性的研究线代数问题的有利的工具理论能改善这种情况利用奇异值和奇异向量不仅可以刻画矩阵的本身结构,而且还可以进一步刻画线代数方程组的解的结构,是构造性的研究线代数问题的有利的工具nm×∈CAAAH021≥≥≥≥kλλλLiiλσ=)(A定义2.10定义2.10设设Hermite半正定矩阵的特征值为称非负实数半正定矩阵的特征值为称非负实数),min(nmk为矩阵为矩阵A的的奇异值奇异值kiL, 2 , 1=设设 A、、B , 如果存在如果存在m阶、阶、n阶酉阵阶酉阵U、、V, nm×∈CBAVU=H=BBHBBHAAH相似相似矩阵矩阵A的奇异值满足如下性质：的奇异值满足如下性质：, 则矩阵, 则矩阵A、、B的奇异值相同。

则有证: 由的奇异值相同 则有证: 由定理 2.13定理 2.13HUBVA =使得使得即与即与, 故它们具有相同的特征值故它们具有相同的特征值, 进而命题得证进而命题得证)HHAVU()=AVUH()AVUUAVHHH()VAAVHH=HVΣUA⎟⎟ ⎠⎞ ⎜⎜ ⎝⎛=000=Σ定理 2.14, 且其秩且其秩rank(A)=r, 则存在则存在其中其中),, 2 , 1(riiL=σ为矩阵为矩阵A的非零奇异值的非零奇异值nm×∈C设设 A m阶、阶、n阶酉阵阶酉阵U、、V使得使得（（2-47））⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎝⎛rσσσO2122 22 1,,,rσσσL12,,0rσσσ≥≥>L()HH=VA A V由于 rank(由于 rank(AHA)=rank()=rank(A), 因此), 因此AHA是秩为是秩为r, 且由推论2.2, 必存在, 且由推论2.2, 必存在n阶酉阵阶酉阵V, ,使得使得的的n阶阶Hermite半正定矩阵， 性质，设其特征值为：半正定矩阵， 性质，设其特征值为：1rnσσ+===L2 1 2 2200rσ σσ⎛⎞ ⎜⎟ ⎜⎟ ⎜⎟ ⎜⎟ ⎜⎟ ⎜⎟ ⎜⎟ ⎜⎟ ⎜⎟⎝⎠OO2000⎛⎞ ⎜⎟⎝⎠Σ=由由Hermite半正定矩阵的证 半正定矩阵的证()112,,,rv vv=LV()212,,,rrnvvv++=LV记则可将记则可将V分块成分块成V=(V1 V2) ，这样有分块形式:，这样有分块形式:12HH⎛⎞ ⎜⎟⎝⎠V V⎛⎞ ⎜⎟ ⎜⎟⎜⎟⎝⎠000⎛⎞ ⎜⎟⎝⎠ 222 12diag(,,,)rσσσ=L。

2Σ即其中由此得出即其中由此得出: 或或HA A()12VV21HHVA AV2Σ(),nn r×−∈C,n r×∈C2Σ11HHVA AV11HHVA AV⇔()()220H=AVAV⇔20=AV,22HHVA AV() ()11 11Hr−−=AV ΣAV ΣI=12HHVA AV=01−ΣΣ1−ΣrI22HHVA AV=1 11m r−×=∈CUAV Σ现取现取, 于是于是H 1=1U U因此矩阵因此矩阵1 1H−HΣ VA1 1−AV Σr= I),,,(211ruuuUL=11,Hm n×=∈CAU Σ V()11=U ΣAV12,,,,rLu uu212(,,,),rrm++=LUuuu() 2mm r×−∈CU()12m n×=∈CUUU为酉阵的列是的列是Cm中的一个标准正交向量组中的一个标准正交向量组又有或再将又有或再将U1扩充为扩充为Cm的一标准正交基令则得到的一标准正交基令则得到()1m r×Ur r×Σm n×∈C()1Hr n×V12,,,rrm++Luuu则我们有则我们有H=U AV12HH⎛⎞ ⎜⎟⎝⎠UU⎛⎞ ⎜⎟ ⎜⎟⎜⎟⎝⎠11HU UΣ Σ,21HU U Σ0Σ00()12AVAV()1U0Σ Σ=H 11VUAΣ=如上关系式称为矩阵如上关系式称为矩阵A 的奇异值分解，简称的奇异值分解，简称SVD定理。

关系式亦可写为亦称为矩阵定理关系式亦可写为亦称为矩阵A的的满的奇异值分解满的奇异值分解并称它为矩阵并称它为矩阵A 约化的奇异值分解约化的奇异值分解Σ=11UAVHH 11VAUΣ= ,iiiσ=Avu由和可得由和可得H iuiviσ分别称和 为矩阵分别称和 为矩阵A的与奇异值对应的的与奇异值对应的左奇异向量左奇异向量从（从（2-47））(2-53)muuu,,,21Lnvvv,,,21L和和U与与V的列向量和的列向量和右奇异向量右奇异向量可得,HH iiiσ=u Av1,2,,ir=LH=AA UHUUmuuu,,,21L左奇异向量为左奇异向量为AAH的单位正交特征向量，的单位正交特征向量，nvvv,,,21L为为AHA的单位正交特征向量右奇异向量的单位正交特征向量右奇异向量从而从而AHVVH=A U()()HHHU U AVU AV00 0000H⎛⎞⎛⎞ ⎜⎟⎜⎟⎝⎠⎝⎠ΣΣ=U2000⎛⎞ ⎜⎟⎝⎠Σ=UH=A AVHVVHAHUU=AV()()HHHV U AVU AV00 0000H⎛⎞⎛⎞⎜⎟⎜⎟⎝⎠⎝⎠ΣΣ=V2000⎛⎞ ⎜⎟⎝⎠Σ=V⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛ =000110101A,∑例1 求矩阵的奇异值分解。

计算矩阵例1 求矩阵的奇异值分解计算矩阵=AAH()Hλ=detIA A-()()31−−=λλλ解求解次序为:解求解次序为:V,U⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛011010001 = ⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛000110101⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛211110101=−−−−−−−211110101λλλ () ()()12212−−−−λλλ0=令令()[]22312−+−−=λλλ,V1,U1AAH, 31=λ则则的特征值和的特征值和A的奇异值分别为的奇异值分别为所以所以, 12=λ；03=λ, 31=σ, 12=σ03=σ=Σ⎟⎟ ⎠⎞ ⎜⎜ ⎝⎛1003⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛−−−−111120102 ⇔002023213231=−+=−=−xxxxxxx ⇒1=p ⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛211再求出再求出V，注意到，注意到V满足满足:=VAAV)(HH⎟⎟ ⎠⎞ ⎜⎜ ⎝⎛0002Σ故可知故可知V的列是的列是AHA的特征值所对应的特征向量，所以只需求解如下的方程组：的特征值所对应的特征向量，所以只需求解如下的方程组：= ⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛321xxx⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛000⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛−−−−111100100 ⇔00032133=++==xxxxx ⇒2=p110⎛⎞ ⎜⎟= ⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛321xxx⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛000 −⎜⎟⎜⎟⎝⎠⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛−−−−−−−211110101 ⇔02003213231=++=+=+xxxxxxx ⇒3=p1 1 1= ⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛321xxx⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛000−⎛⎞ ⎜⎟−⎜⎟⎜⎟⎝⎠将它们标准化，得到酉阵将它们标准化，得到酉阵V的列的列:1 1 12=pvp2 2 22==pvp3 3 32==pvp61=⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛21121⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛ − 011311 1 1−⎛⎞ ⎜⎟−⎜⎟⎜⎟⎝⎠111 623 111 623 21063−⎛⎞ ⎜⎟ ⎜⎟ −−⎜⎟=⎜⎟ ⎜⎟ ⎜⎟ ⎜⎟⎝⎠V( )=×231V⎟⎟⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎜⎜⎝⎛−06221 6121 61()1 1231− ×=ΣUAV ⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛ =000110101⎟⎟⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎜⎜⎝⎛−06221 6121 61⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛10031进一步计算得出，进一步计算得出，即得，因即得，因rank(A)=2，故有，故有21211 221−00=得约化的奇异值分解得约化的奇异值分解⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛ =000110101==H 11VAΣU⎟⎟ ⎠⎞ ⎜⎜ ⎝⎛1003⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎝⎛−021 2162 61 61212121−2100=2U ⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛100 计算计算U2, 使其与使其与U1构成构成R3的一组标准正交基，可取的一组标准正交基，可取(),==21UUU=A ⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎝⎛000010003⎟⎟⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎜⎜⎝⎛−−−31 31 31021 2162 61 61是酉阵是酉阵, 故矩阵故矩阵A的奇异值分解（满的奇异值分解）为的奇异值分解（满的奇异值分解）为则则 212121−2100001212121−2100001又由于又由于rank( (AHA)=)=rank( (A),下面均假定可以通过某种可靠的数值方法计算出矩阵),下面均假定可以通过某种可靠的数值方法计算出矩阵A的秩的数值方法，同时它也是判断一个向量组是否证：注意，的秩的数值方法，同时它也是判断一个向量组是否证：注意，AHA的非零特征值的个数应为rank(的非零特征值的个数应为rank(AHA)，2.4.3 用矩阵的奇异值讨论矩阵的性质定理2.15 矩阵)，2.4.3 用矩阵的奇异值讨论矩阵的性质定理2.15 矩阵A的非零奇异值的个数恰为矩阵的非零奇异值的个数恰为矩阵A矩阵的奇异值分解，据此讨论矩阵的一些性质。

的秩等于矩阵的奇异值分解，据此讨论矩阵的一些性质等于rank(A) 该定理表明，借助矩阵的奇异值分解，可以得到计算线性相关的数值方法 该定理表明，借助矩阵的奇异值分解，可以得到计算线性相关的数值方法从而A的非零奇异值个数恰的非零奇异值个数恰12( )span{ ,,,},r=RLAu uu( )12span{,,,}rrn++=LN Avvv ,m n×∀ ∈RA( ){|,}mn=∈∀ ∈RRAyAx = yxR},,,{span)(21naaaAL=R( ){}n=∈=N AxR | Ax0}{)(0AxxA==N11=ΣAVU2= 0AV证: 由该定理表明，借助矩阵的奇异值(证: 由该定理表明，借助矩阵的奇异值(SVD)分解，可以确定子空间)分解，可以确定子空间R(A)定理2.16定理2.16为由为由A的称为的称为A的的零空间零空间或或核核，即其中列向量生成的子空间，称为，即其中列向量生成的子空间，称为A的的值域值域或或像空间像空间，即，即和和N(A)的一组标准正交基的一组标准正交基)1122,,,rrσσσ=Luuu()12,,,;r=Lyyy021>≥≥≥rσσσL12,σ=A F=A22 max12()Hλσ==AA A12σ=。

A2 20 00H F F⎛⎞=⎜⎟⎝⎠AUV∑ ∑222 12rσσσ=+++L定理2.17设定理2.17设，则，则该定理表明，借助矩阵的奇异值(该定理表明，借助矩阵的奇异值(SVD)分解，我们可以确定矩阵)分解，我们可以确定矩阵 A的2-范数和F-范数的2-范数和F-范数⇒222 12rσσσ+++L证:证:2000F⎛⎞=⎜⎟⎝⎠∑ ∑2 iiiσλλ==1det( )ni iσ==∏A2det( )det( )=AA定理 2.19如果定理 2.19如果A为为n阶方阵，则阶方阵，则定理2.18如果定理2.18如果A为为Hermite矩阵，则矩阵，则A的奇异值即为的奇异值即为AH=A的特征值的绝对值的特征值的绝对值证:由证:由AHA=A2，则，则det()=HA A211nnii iiσσ====∏∏证:证:det()HAdet( )A=H rrrHHvuvuvuAσσσ+++=L222111H 11VUAΣ=),,,(211ruuuUL=()112,,,THHHH rvvv=LV12rσσσ⎛⎞ ⎜⎟ ⎜⎟=⎜⎟ ⎜⎟⎜。