矩阵论-第五章-广义逆及最小二乘.pdf

第五章 广义逆及最小二乘解 第五章 广义逆及最小二乘解 在应用上见得最频繁的、大约莫过于线性方程组了作一番调查或 整理一批实验数据，常常归结为一个线性方程组： Axb= 然而是否是相容方程呢？倘若不是， 又如何处理呢？最小二乘解是常 见的一种处理方法其实它不过是最小二乘法的代数形式而已 广义逆从 1935 年 Moore 提出以后，未得响应据说： (S.L.Campbell C.D.Meyer.Jr Generalized Inverses of Linear Transformations 1979 P9)原因之一，可能是他给出的定义，有点晦 涩其后，1955 年 Penrose 给出了现在大都采用的定义以后，对广 义逆的研究起了影响，三十年来，广义逆无论在理论还是应用上都有 了巨大发展，一直成为了线性代数中不可缺少的内容之一 为了讨论的顺利进行，我们在第一节中先给出点准备，作出矩 阵的奇值分解 5.1 矩阵的酉交分解、满秩分解和奇值分解 行空间中，知道一个线性变换在不同基偶下的矩阵表示是 相抵的或等价的用矩阵的语言来说，就是：若 , m n A BC ，倘有非异矩阵()P mn，()Q nn存在，使 BPAQ= 则称A与B相抵的或等价的。

利用初等变换容易证明 m n AC ，秩为 r，则必有P，Q，使 0 0 0 rm n I PAQC = (5.1-1) 其中 r I是r阶单位阵 在酉空间中，上面的说法，当然也成立，如果加上P，Q是酉 交阵的要求，情形又如何呢？下面就来讨论这个问题 定理 5.1.1 (酉交分解) m n AC ，且秩为r，则 (), (),, HH mn U mn V nn U UIV VI==，使 00 rH U AV = 0 (mn) (5.1-2) 其中 r 为r阶非异下三角阵 证明：A的秩为r，故A有r个线性无关列，不妨设前r个列是 线性无关的，因为倘若非如此，则经过一系列的列交换，可以把它们 调到前r列，这无异于对A乘上某一排列阵，排列阵是酉交阵，而酉 交阵的积仍是酉交阵，故不是普遍性 记A为 12,1 ( ,,,,) rrn Aa aa aa + =?? 按 Gram-schmidt 正交化法，将 12, ,, r a aa?标准正交化为 12, ,, r u uu? H ijij n u=，1,i jr 且 i u是 12, ,, i a aa?的线性组合，注意到 1 u就是 1 a上的单位向量，故 01 H ij n uir=< 更一般的有0,1 H ij u ajiir=< 一般的有 0,1 H ij n aijim=? 是 H A A的非零特征值。

证明：按酉交分解定理，有 1( )U mn 1( )V nn， 使 11 0 00 rH UAV = 即 11 0 00 rH AUV = 故有 1111 0 00 H rHHH r A AVU UV = 0 0 0 11 H Hrr VV = 0 0 0 注意到 H r 使H阵，且正定，故有() r V rr H rrr V VI=，能使 1 2HH rrrr r VV = ? 2 12 (,,) r diag=? 2 D= (5.1-10) 其中有 12 0 r ? 显然有 11 ()H HH rrrr DVV D (5.1-11) 记 1 rrr UV D= 则由上式可知 r U是r阶酉交阵 由(5.1-11)式有 H rrr UVD= (5.1-12) 令 2 0 0 r m r U U I = 2 0 0 r n r V V = I 则 22 ,U V各为m阶，n阶酉交阵。

取 12 UUU= ； 12 VVV= 则有 2112 HHH U AVUUAVV= 00 000 H rr r n r n r VU = 0 0 I I 0 0 H rrr UV = 0 0 00 D = (证毕) 通常称 i 为A的正奇值这个定理说明了：在酉空间中，任一 矩阵都酉相抵于一个实矩阵，其左上角为r阶对角阵，r为A的秩， 且其对角元式A的正奇值 这个事实当然是引人注目的 顺便提一下， 这些定理在欧式空间中也成立，读者仔细读过证明后，便会了解这句 话的根据那时把H换成 T就行了 5.2 广义逆 对广义逆的研究，大致是源于对方程组 Axb= 的解的表示法而兴起在一方程中，若 m n AC 且det0A，有唯一 解 1 A b 但除此而外，就没有类似的表示法了，于是就能产生了：有 解、无解、有无穷多解等的讨论一般来说,A的型是行数与列数未 必一致的，问题也就更显得复杂了这里我们先来寻求当方程组 ,;, m nnn Axb ACxC bC = 有解时，是否有矩阵G，能将解表成Gb。

在下一节中，再把解的含 义推广，使得任一方程组都有“解” ，然后在统一的观点下，将“解” 表出 尽管近二三十年来，对广义逆的研究已经相当深入出于应用上 的需要，有各种广义逆，但是我们这里只着重讨论最主要而常见的一 种A+，至于其他一些广义逆，我们将出一些于本章习题中，有兴趣 的读者不妨对之作一点简单的研讨 定义 (Penrose) m n AC ,则满足下列四个方程的A+， 称为A的 广义逆或 moore-Penrose 逆 1)AA AA + = (5.2-1) 2)A AAA +++ = (5.2-2) 3)()HAAAA ++ = (5.2-3) 4)()HA AA A ++ = (5.2-4) 从定义中可以看到， 若A是可逆阵 （此时自然有mn=） ， 则 1 A是 满足这四个方程的，这就是说A+包括了 1 A这个特例3)(4)两个方 程，说明了要求AA+和A A + 都是H阵在实空间中，自然就要求其成 为实对称阵，把H换成 T好了。

首先要探讨的是：对任一A是否有满足定义的A+存在 若有，又有多少？ 定理 5.2.1 满足 Penrose 方程的A+存在且唯一 证明： 存在性： m n AC ，A有奇值分解，即存在酉交阵,U V， 使 0 00 H D AUV = 注意到 12 (,,),0,1,2, ri Ddiagir==?? 故有 1 12 111 (,,) r Ddiag =? 可知 1 DD + = 取 0 00 H Hn n D AVUC + + = (5.2-5) 则 (1) 000 000000 H HHH DDD AA AUV VU UV + + = 00 0000 HH DDD D UVUV + == A= (2) 000 000000 HH HHH DDD A AAVU UV VU ++ ++ = 00 0000 H HH D DDD VUVU +++ == A+= (3) 00 () 0000 H H HHH DD AAUV VU + + = 0 00 H H m m DD UU + = 00 0000 HH DD UV VU + + = AA+= (4)同(3)可证。

故A+存在 唯一性：若B+也满足 Penrose 方程，则 BB ABB AA AB ++++++ == () () HH BAAAB +++ = () HHHHHH B AA BAB AAB A ++++++ == HH B AA ++ = ()HBAAB AAB AA AA +++++++ === () () HH B AA AA +++ = HHHHHH A BA AAA AAA AA +++++++ === A+= 故A+唯一 (证毕) 证明了A+的存在唯一，似乎A+和 1 A的性质几乎一致罢？不然， A+的性质与想象的很不一样，例如：若(0)m nA = 注意到方程(2)，可知( )0 n m A+ = (5.2-6) 且除此之外，并无其他，这可是 1 A没有的性质又如：对 1 A而 言，若,A B皆可逆，则 111 ()ABB A =，然而对A+而言，却没有这个 性质，及时 2 ()A + 也不必等于 2 ()A+，看一个例子就清楚了。

例 设 1, 1 0, 0 A = 不难验证，有 1, 0 1 1,02 A+ = 又 2 AA= 故 ( ) 2 1, 0 1 1,02 A + = 但 ( ) 21, 0 11 1,042 AA ++ == 由此可见 ( )() 2 2 AA + + 关于A+具有的通常用到的性质，我们归结成下列两个定理 定理 5.2.2 n n AC ，则 (1)( ) AA + + = (2)( )() H H AA + + = (3)() 1 0 ;, 00 AAC + +++ == = (4) HHH AA AAA AA ++ == (5)()() HH A AAA +++ = (6)()() HHHH AA AAAAA +++ == (7)(),, HHHH mn UAVVA UU UIV VI + + === (8)A ABA ACABAC ++ == 证明 (1)(2)(3)(5)(7)各条，容易直接由 Penrose 方程得证，这里仅证(4)(6)(8)三条。

(4) ()() HH HHHHH AAAAA AAA AA +++ === () H HH AAAA AA ++ == (6) () H AA AAA AA +++++ == ()() HHHH AAAAAA +++ == ()()() HHHHH AAAAAAA AA +++++ === (8) A ABA ACAA ABAA ACABAC ++++ === ABACA ABA AC ++ == 这个性质实际是关于A+的消去律，常常用到 (证毕) 从 Penrose 方程中的(1)和(2)，容易看出： ( ) 2 AAAA ++ = (5.2-7) ( ) 2 A AA A ++ = (5.2-8) 可见AA+和A A + 都是幂等阵，是投影算子，同时还有 2 ()IAAIAA ++ = (5。