第六章-广义逆矩阵.ppt

第六章第六章 广义逆矩阵广义逆矩阵知识要点知识要点v投影矩阵投影矩阵v广义逆矩阵广义逆矩阵v相容方程组的最小范数解相容方程组的最小范数解v矛盾方程组的最小二乘解矛盾方程组的最小二乘解v矛盾方程组的最小范数最小二乘解矛盾方程组的最小范数最小二乘解v总体最小二乘技术总体最小二乘技术§6.1投影矩阵投影矩阵一、投影算子与投影矩阵一、投影算子与投影矩阵 设L和M都是Cn的子空间，且LM=Cn ．于是任意xCn都可唯一分解为x=y+z，yL，zM，称y是x沿着M到L的投影．1. 定定义义 将任意xCn变为沿着M到L的投影的变换称为沿着M到L的投影算子，记为PL,M，即 PL,M x=yv显然， R(PL,M)=L， N(PL,M)=M．v投影算子PL,M是一个线性算子2.定定义义 投影算子PL,M在Cn的基e1,…,en下的矩阵称为投影矩阵投影矩阵．记为PL,M3.幂等矩阵幂等矩阵：A2=A引理引理 设ACn×n是幂等矩阵，则 N(A)=R(I-A)证证：A2=A  A(I-A)=O  对任意 xR(I-A)即x=(I-A)y，yCn，必有Ax=0故R(I-A)N(A)  dim R(I-A)  dim N(A) = n-dim R(A)即 rank(I-A)  n-rankA。

考虑到I=A+(I-A)  n  rankA+rank(I-A)有rank(I-A)=n-rankA，，使得dimR(I-A)=n-dimR(A)=dimN(A)，即得N(A)=R(I-A)4.定理：定理：P为投影矩阵的充要条件是投影矩阵的充要条件是P为幂等矩阵幂等矩阵证：设P=PL,M为投影矩阵，则对任意xCn有P2L,M x = PL,M (PL,M x) = PL,M y = y = PL,M x故P为幂等矩阵反之，设P为幂等矩阵，则：对任意xCn有x=x-Px+Px=(I-P)x+Px，其中(I-P)xN(P)，PxR(P)，使得Cn=N(P)+R(P)设zN(P)R(P)，由于N(P)=R(I-P) 故存在u，v Cn 使得 z=Pu=P2u=P(I-P)v  z=Pu=(I-P)v=0故 N(P)R(P) = {0}这样 Cn = N(P)R(P)，这意味着对任意 xCn，Px是x沿着N(P)到R(P)的投影，故而P=PR(P), N(P) 5. 投影矩阵投影矩阵PL,M的构造方法的构造方法 设 dimL=r，则 dimM=n-r，在子空间L和M中分别取基底X=(x1,…,xr) 和 Y=(y1,…,yn-r)，于是有PL,M[X,Y]=[X,O]。

由于(X,Y)为Cn的一个基底，故[X,Y]可逆，于是得PL,M=[X,O][X,Y]-1例例：设L是由向量[1,0]T张成的子空间，M是由向量[1,－1]T张成的子空间，则可求得平面上沿着M 到L的投影矩阵为 PL,M=二、正交投影算子与正交投影矩阵二、正交投影算子与正交投影矩阵1.定义：定义：设L是Cn的子空间，则称沿着L到L的投影算子PL,L为正交投影算子，简记为PL；正交投影算子在Cn的基e1,…,en下的矩阵称为正交投影矩阵，记为PL ．2. 定理定理 矩阵P为正交投影矩阵的充要条件是P为幂等Hermite矩阵． 证：证：若P=PL是正交投影矩陈, 由前述定理知，它是幂等矩阵把任意xCn分解为x=y+z，yL，zL，则PLx=yL，(I-PL)x = z L使得PLx正交于(I-PL)x，，即xHPLH(I-PL)x=0，x的任意性使得 PLH(I-PL)= O，即，即PLH=PLHPLPLH=PLHPL=(PLHPL)H =(PLH)H=PL即PH=P， P为幂等Hermite矩阵。

反之，设P为幂等Hermite矩阵，由幂等性知 P=PR(P),N(P)，N(P)=R(I-P)对任意 Px与(I-P)y，有=xHPH(I-P)y=xHP(I-P)y=xH(P-P2)y=0即得：R(P)N(P)因此P为正交投影矩阵3. 正交投影矩阵正交投影矩阵PL的构造方法的构造方法设 dimL=r， 则 dimL=n-r 在 子 空 间 L和 L中 分 别 取 基 底X=(x1,…,xr)和Y=(y1,…,yn-r) 满足 XHY=Or(n--r)，于是说明：令 ，则有两边左乘 XH 得 即 A=(XHX)-1XH ，同理可得 B=(YHY)-1YH 例例：设L是由向量[1,2,0]T和[0,1,1]T张成的子空间，则可求得正交投影矩阵为三、正交投影原理及其应用三、正交投影原理及其应用1.正交投影原理正交投影原理 令M是向量空间H的子空间，如果对于H中的向量 x，在M中有一向量x，使得x-x正交于M中的所有向量y，即(x-x,y)=0，则||x-x||||x-y||对于所有向量yM都成立，并且等号仅当y= x时成立。

证：||x-y||2=||x-x+x-y||2=||x-x||2+2(x-x, x-y)+||x-y||2，故(x-x, x-y)=0使得||x-x||2||x-x||2+||x-y||2=||x-y||2并且等号仅当 y=x 时成立2.x=PMx为为x在在M的投影，的投影，x-PMx为为x在在M 的投影的投影3.W-H方程：使用线性滤波d=(h,x)从观测随机向量x估计希望信号d，则由(d-(h,x), x)=0有W-H方程rdx=Rxxh，其中互相关向量rdx= (d,x)=E(d,x)，自相关矩阵Rxx=E(xxT) 四四.子空间分析子空间分析1.观测空间：观测x=信号s+噪声n，其中s与n不相关，观测矩阵X=信号矩阵S+噪声矩阵N =(x1,…,xn)，观测空间Span(X)=Span{x1,…,xn}2.信号子空间和噪声子空间解：RX=E(XTX)=RS+RN，其中假设噪声独立同 分布使得RN=E(NTN)=n2I和 RS=E(STS)秩r使得RS=US SUSTRX=US SUST+ n2I =US( S +n2I)UST =UX XUXT  UX = US和 X= S +n2I,令UX=[u1,…,un]，BS=[u1,…,ur]， BN=[ur+1,…,un]，则称 Span(BS)和Span(BN)分别为信号子空间和噪声子空间。

3. { s1+n2,…, sr+n2}为主特征值， n2为次特征值4.信号子空间投影矩阵PS=BSBST，噪声子空间投影矩阵PN=BN BNT =I-PS=PS为信号子空间正交投影矩阵5.子空间分析法应用例子空间分析法应用例：现代谱估计的MUSIC算法设信号向量是r个不相干的复正弦的叠加，即 其中A=[a(1),…,a(r)] ， a(k)=[1,…,exp(j(n-1))]T为频率分量向量，s(t)=[s1(t),…,sr(t)]T为随机信号向量，具有零均值其协方差阵为RS=E(s(t)s(t)H)， n(t)=[n1(t),…,nn(t)]T为零均值方差为n2的独立同分布高斯白噪声 RX=BS( S+n2I)BSH+n2BNBNH=ARSAH+n2I RXBN=n2BN=ARSAHBN+n2BNARSAHBN=O AHBN=O 即即 BNHA=O，也即BNHa()=0， =k, k=1,…,r于是有基于噪声子空间的功率谱估计P()=1/||BNHa()||2 ，所有的其r个峰值给出了r个复正弦频率。

由于BN BNT =I-BSBSH，其中RX-n2I=BS SBSH，于是有基于信号子空间的功率谱估计P()=1/(a()H(I-BSBSH)a())用哪个取决于哪个子空间有较小的维数 §6.2 广义逆矩阵定义及其性质广义逆矩阵定义及其性质v定义：设矩阵定义：设矩阵A Cm n，若矩阵，若矩阵X Cm n满足如下满足如下四个方程四个方程1.AXA=A2.XAX=X3.(AX)H=AX4.(XA)H=XA 中的一个或几个，则称为矩阵中的一个或几个，则称为矩阵A的广义逆；若四个的广义逆；若四个方程全部满足，则称为矩阵方程全部满足，则称为矩阵A的的Moore-Penrose逆，逆，记为记为A+v定理一：矩阵定理一：矩阵A Cm n的广义逆的广义逆A+存在且唯一存在且唯一证明：先证存在性设矩阵证明：先证存在性设矩阵A的满秩分解为的满秩分解为 A=BC，定义，定义A+=CH(CCH)-1(BHB)-1BH则则A+满足定义中的四个方程下面证唯一性满足定义中的四个方程下面证唯一性设矩阵设矩阵X与与Y都满足四个方程，则都满足四个方程，则 X=XAX=X(AX)H=XXHAH=XXHAHYHAH=X(AX)H(AY)H =X(AXA)Y=XAY Y=YAY=(YA)HY=AHYHY=AHXHAHYHY=(XA)H(YA)HY =XAYAY=XAY所以所以X=Y。

证完证完)若矩阵若矩阵A是满秩方阵，则是满秩方阵，则A+=A-1. 一般研究满足定义中四个方程中部分或全部构成的广义一般研究满足定义中四个方程中部分或全部构成的广义逆，如满足逆，如满足{1}，，{1,2}，，{1,3}，，{1,4}，，{1,2,3,4}，分别，分别记为记为A{1}，，A{1,2}，，A{1,3}，，A{1,4}，，A{1,2,3,4}，自然，自然A+= A{1,2,3,4} A+是最常用的广义逆一般记：是最常用的广义逆一般记：A- =A{1}定理二：设矩阵定理二：设矩阵A给定，则给定，则A+满足如下性质满足如下性质1.rank A+=rank A2.(A+)+=A3.(AH)+=(A+)H, (AT)+=(A+)T4.(AHA)+=A+(AH)+, (AAH)+=(AH)+A+5.A+=(AHA)+AH=AH(AAH)+6.R(A+)=R(AH), N(A+)=N(AH)推论：若A Cnm n ，则A+=(AHA)-1AH 若A Cmm n ，则A+=AH(AAH)-1矩阵矩阵A广义逆广义逆A+的等价定义的等价定义: AA+=PR(A), A+A=PR(A+)。

即 AA+=PR(A), A+A分别为R(A)和R(A+)上的正交矩阵更有：AA{1}、A{1}A、AA{2}、A{2}A 均为幂等矩阵§6.3 广义逆矩阵广义逆矩阵A A+ +的计算方法的计算方法v满秩分解：设满秩分解：设A Crm n，，A=BC为满秩分解，即为满秩分解，即B Crm r，，C Crr n，则，则A+=CH(CCH)-1 (BHB)-1BHv奇异值分解：设奇异值分解：设A Crm n，其奇异值分解，其奇异值分解 A=VrΔUrH ，， Δ=diag(σ1, σ2, ⋯ ⋯, σr)，则 A+= UrΔ-1VrH 特别，若特别，若A为实对称矩阵，则有分解式为实对称矩阵，则有分解式 A=UrΔUrT ，，Δ=diag(σ1, σ2, ⋯ ⋯, σr)， σi为矩阵A的非零特征值，且 A+= UrΔ-1UrT 例例1 ：设：设求求A+解：解： （方法一）利用满秩分解公式可得（方法一）利用满秩分解公式可得从而从而 A 的伪逆矩阵是的伪逆矩阵是（方法二）先求（方法二）先求A的奇异值分解：的奇异值分解：令：令：例例2 ：：设设求求A+。

解解：： （方法一）（方法一）由满秩分解公式可得由满秩分解公式可得于是其伪逆矩阵为于是其伪逆矩阵为（方法二）先求（方法二）先求A的奇异值分解：的奇异值分解：令：令：计算计算A+的迭代法（的迭代法（Greville法）法）v定理一：设A Crm n，记，记 ak (k=1,2, …, n)为为A的第的第k列，列，Ak为为A的前的前k列构成的子矩阵，又记列构成的子矩阵，又记则则其中其中线性模型参数的最小二乘估计线性模型参数的最小二乘估计假设线性模型为假设线性模型为其中其中已知观测数据已知观测数据计算计算 a 可以看做求解可以看做求解其最小二乘估计的范数最小解为其最小二乘估计的范数最小解为现考虑实时估计，记现考虑实时估计，记线性模型参数的最小二乘估计线性模型参数的最小二乘估计由于由于线性模型参数的最小二乘估计线性模型参数的最小二乘估计令令则则线性模型参数的最小二乘估计线性模型参数的最小二乘估计线性模型参数的最小二乘估计线性模型参数的最小二乘估计算法算法定理二定理二：：设设A Crm n，则存在奇异值分解，则存在奇异值分解于是于是证明：由于证明：由于A的秩为的秩为r，因此存在形如，因此存在形如(1)式的分解。

式的分解设设G A{1}，则有，则有 AGA=A广义逆广义逆A-的计算的计算(1)(2)即即把把矩阵矩阵UHGV分块，设分块，设代入得代入得即即最后得最后得由此得出由此得出即即于是有于是有这证明了这证明了(2)式定理三定理三：：设设A Crm n，其奇异值分解为，其奇异值分解为则则因此因此 rank(A)=rank(A{1,2})证明：设证明：设G A{1,2}，有定理二知，有定理二知再由条件：再由条件： GAG=G 得得 广义逆广义逆A{1,2}的计算的计算(1)(3)即即于是有于是有得得再由再由即即知知 rank(A)=rank(G)定理四定理四：：设设A Crm n，其奇异值分解为，其奇异值分解为则则证明：设证明：设G A{1,3}，有定理二知，有定理二知再由条件：再由条件： (AG)H=AG 得得 广义逆广义逆A{1,3}的计算的计算(1)(3)即即于是有于是有得得定理五定理五：：设设A Crm n，其奇异值分解为，其奇异值分解为则则证明：设证明：设G A{1,4}，有定理二知，有定理二知再由条件：再由条件： (GA)H=GA 得得 广义逆广义逆A{1,4}的计算的计算(1)(3)即即于是有于是有得得设设A Crm n，其奇异值分解为，其奇异值分解为则则广义逆的计算广义逆的计算§6.4 广义逆矩阵与方程组的求解广义逆矩阵与方程组的求解v一致方程的公式解™一致方程解的结构™一致方程的最小范数解v非一致方程的最小二乘解™非一致方程的最小二乘解的结构™非一致方程最小二乘解的范数极小解一致方程的公式解一致方程的公式解 v一致方程：若一致方程：若Ax=b有解，则称有解，则称 Ax=b 为一致方程。

为一致方程Ax=b为一致方程当且仅当为一致方程当且仅当 rank(A) = rank([A,b])定理一定理一：非齐次方程：非齐次方程 Ax=b 有解的充分必要条件为有解的充分必要条件为 AA-b=b证明：证明：必要性设必要性设 AX=b 有解有解 α ，则，则 Aα=b 因为 AA-A=A，所以，所以 b = Aα￿=￿AA-Aα￿=￿AA-b 充分性设充分性设 AA-b=b，取，取 α=A-b，则，则 α￿是是 AX=b 的解定理二：定理二：设非齐次线性方程组设非齐次线性方程组 Ax=b 是一致方程是一致方程 ，则，则它的一般解（通解）为它的一般解（通解）为x=A-b证明：由于证明：由于 Ax=b 为一致方程，因此由定理一有为一致方程，因此由定理一有AA-b=b可知可知 x=A-b 是方程是方程 Ax=b 的解下面证明的解下面证明 Ax=b 的解都的解都可以表示成这种形式设可以表示成这种形式设A的奇异值分解为的奇异值分解为则有则有令令 U=[U1,U2]，，V=[V1,V2] 及及则有则有即即通解通解于是有于是有定理三：定理三：齐次线性方程组齐次线性方程组 Ax=0 的通解为的通解为其中其中 z 是任意是任意n维列向量。

维列向量证明：首先容易证明证明：首先容易证明即即 (In-A-A)z 是是Ax=0的解其次证明的解其次证明 Ax=0 的解具有以的解具有以上的形式设上的形式设 β 是其任意解，则有是其任意解，则有定理四：定理四：一致方程一致方程 Ax=b 的通解为的通解为x=A-b+(I-A-A)z一致方程的最小范数解一致方程的最小范数解 定理五：定理五：一致方程一致方程 Ax=b 的最小范数解为的最小范数解为 x=A{1,4}b=A+b证：由定理二的证明知证：由定理二的证明知 Ax=b 的通解为的通解为所以最小范数解必然满足所以最小范数解必然满足 C=0，即最小范数解，即最小范数解非一致方程的最小二乘解非一致方程的最小二乘解 定定义义：：非非一一致致方方程程Ax=b 的的最最小小二二乘乘解解为为如如下下目目标标函数的极小解函数的极小解定理六：定理六：非一致方程非一致方程 Ax=b 的最小二乘解为的最小二乘解为x=A{1,3}b证明：设证明：设 A 的奇异值分解为的奇异值分解为令令 U=[U1,U2]，V=[V1,V2] 及则有则有于是最小二乘解为于是最小二乘解为定理六：定理六：非一致方程非一致方程 Ax=b 的最小二乘解的最小范的最小二乘解的最小范数解为数解为x=A+b证明：由证明：由知最小范数解满足知最小范数解满足 C=0，，D=0，得证。

得证例例1 ：求不相容方程组：求不相容方程组的最小二乘解的最小范数解的最小二乘解的最小范数解例例2 ：求不相容方程组：求不相容方程组的最佳最小二乘解的最佳最小二乘解作业1.实对称正定矩阵的LDLT分解(Cholesky)解方程组Ax=b2.矩阵的QR分解求解方程Ax=b3.矩阵的奇异值分解4.基于奇异值分解的A+的计算5.基于逆矩阵的线性模型参数的最小二乘估计6.基于广义逆的线性模型参数的最小二乘估计每个同学的学号后两位除以6，余数加1为题目号。