《矩阵分析基础》PPT课件.ppt

第五章第五章矩阵分析基础矩阵分析基础§5.1 §5.1 向量和矩阵的范数向量和矩阵的范数 1 1．．向量的范数向量的范数定义定义1 1：：设设X   R n，， ＸＸ  表示定义在表示定义在Rn上的一个实值函数上的一个实值函数，，称之为称之为X的范数的范数，，它具有下列性质它具有下列性质：：（（3））三角不等式三角不等式：：即对任意两个向量即对任意两个向量X、、Y  R n，，恒有恒有 (1) (1) 非负性非负性：：即对一切即对一切X   R n，，X   0,  ＸＸ  >0(2) (2) 齐次性齐次性：：即对任何实数即对任何实数a   R，，X   R n，， 设设X = (x1, x2,…, xn)T，，则有则有（1）（2）（3）三个常用的范数：三个常用的范数：范数等价范数等价: : 设设‖·‖·‖‖A A 和和‖·‖·‖‖B B是是R R上任意两种范数，若存在上任意两种范数，若存在 常数常数 C C1 1、、C C2 2 > 0 > 0 使得使得 , , 则称则称 ‖·‖·‖‖A A 和和‖·‖·‖‖B B 等价等价。

定理定理1：：定义在定义在Rn上的向量范数上的向量范数 是变量是变量X分量的分量的 一致连续函数一致连续函数 定理定理2 2：：在在Rn上定义的任一向量范数上定义的任一向量范数 都与范数都与范数 等价等价，， 即存在正数即存在正数 M 与与 m ( M>m ) 对一切对一切X Rn，，不等式不等式成立成立推论推论：：Rn上定义的任何两个范数都是等价的上定义的任何两个范数都是等价的 对常用范数，容易验证下列不等式：对常用范数，容易验证下列不等式： 定义定义2：：设给定设给定Rn中的向量序列中的向量序列{ }{ }，，即即其中其中若对任何若对任何i (i = 1, 2,…, n )都有都有则向量则向量 称为向量序列称为向量序列{ }{ }的极限的极限，，或者说向量序列或者说向量序列{ }{ }依坐标收敛于向量依坐标收敛于向量 ，，记为记为定理定理3：：向量序列向量序列{Xk}依坐标收敛于依坐标收敛于X*的充要条件是的充要条件是向量序列依范数收敛与依坐标收敛是等价的。

向量序列依范数收敛与依坐标收敛是等价的2 2．．矩阵的范数矩阵的范数定义定义3：：设设A为为n 阶方阵阶方阵，，Rn中已定义了向量范数中已定义了向量范数 ，， 则称则称 为矩阵为矩阵A A 的算子范数或模的算子范数或模，， 记为记为 即即矩阵范数的基本性质矩阵范数的基本性质：： （（1）当）当A = 0时，时， ＝＝0，当，当A   0时，时， > 0（2））对任意实数对任意实数k 和任意和任意A，有，有（（3））对任意两个对任意两个n阶矩阵阶矩阵A、、B有有（（5））对任意两个对任意两个n阶矩阵阶矩阵A、、B，，有有（（4）对任意向量）对任意向量X Rn，，和任意矩阵和任意矩阵A，，有有例例5:5:设设A A＝＝( (a aijij)∈M)∈M. . 定义定义证明证明：：这样定义的非负实数不是相容的矩阵范数这样定义的非负实数不是相容的矩阵范数. .证明：设从而定理定理4：：设设n 阶方阵阶方阵A = (aij)n n，则，则（（ⅠⅠ）与）与 相容的矩阵范数是相容的矩阵范数是（（ⅡⅡ）与）与 相容的矩阵范数是相容的矩阵范数是其中其中 1为矩阵为矩阵ATA的最大特征值。

的最大特征值ⅢⅢ）与）与 相容的矩阵范数是相容的矩阵范数是上述三种范数分别称为矩阵的上述三种范数分别称为矩阵的1-1-范数、范数、2-2-范数和范数和∞∞- -范数可以证明可以证明, 对方阵对方阵 和和 ，，有有 ( (向量向量|| · |||| · ||2 2的直接推广的直接推广) )FrobeniusFrobenius范数范数: :注：注：（（1 1））（（2 2））矩阵的矩阵的FrobeniusFrobenius范数范数不是算子范数不是算子范数3．矩阵．矩阵的范数与特征值之间的关系的范数与特征值之间的关系定理定理5：：矩阵矩阵A 的谱半径不超过的谱半径不超过A的任一相容矩阵范数，即的任一相容矩阵范数，即 定义定义4：：矩阵矩阵A 的诸特征值的最大绝对值称为的诸特征值的最大绝对值称为A的谱半径，的谱半径，记为：记为：并且如果并且如果A A为对称矩阵，则为对称矩阵，则 注注: :R Rn n×n n中的任意两个矩阵范数也是等价的中的任意两个矩阵范数也是等价的定义定义5 5：： 设设|| || · || ||为为R Rn n××n n上的矩阵范数，上的矩阵范数，A,B∈A,B∈R Rn n××n n称称 ||A-B||||A-B||为为A A与与B B之间的距离之间的距离。

定义定义6 6：：设给定设给定R Rn n××n n中的矩阵序列中的矩阵序列{ { } }，若，若则称矩阵序列则称矩阵序列{ }{ }收敛于矩阵收敛于矩阵A A，记为，记为定理定理6 6 设设B∈RB∈Rn n××n n，则由，则由B B的各幂次得到的的各幂次得到的 矩阵序列矩阵序列B Bk k, k=0,1,2…)k=0,1,2…)收敛于零矩阵收敛于零矩阵 （（ ）的充要条件）的充要条件 为为 4. 矩阵的条件数矩阵的条件数定义定义5 设矩阵设矩阵 为非奇异矩阵，则称为非奇异矩阵，则称 为矩阵为矩阵 的的条件数条件数，其中其中 是矩阵的算子范数是矩阵的算子范数 对矩阵对矩阵 的任意一个算子范数的任意一个算子范数有有(2) (2) cond ( kA )= cond ( A ) , k 为非零常数为非零常数; ;(3)(3)若若 ，， 则则注注: : condcond ( (A A) ) 与与 所取的范数有关所取的范数有关常用条件数有：常用条件数有：cond (A)2特别地，若特别地，若 A 对称，则对称，则cond (A)1=‖‖A‖‖1 ‖ ‖ ‖‖1cond (A) =‖‖A‖‖  ‖ ‖ ‖‖ § 5.2 初等矩阵初等矩阵 初等矩阵对线性方程组的研究起着重要的作用，本节介绍初等矩阵对线性方程组的研究起着重要的作用，本节介绍一般形式的初等矩阵，它是矩阵计算的基本工具。

一般形式的初等矩阵，它是矩阵计算的基本工具5.2.1 初等矩阵初等矩阵定义定义6 设向量设向量 ，则形如，则形如 的矩阵叫做的矩阵叫做实初等矩阵实初等矩阵，其中，其中 是是 阶单位矩阵阶单位矩阵，向量向量 ，为为初等下三角阵初等下三角阵定理定理5.2.1 初等下三角阵初等下三角阵 具有如下性质具有如下性质： (1) ；5.2.2 初等下三角矩阵初等下三角矩阵定义定义7 令向量令向量 则称矩阵则称矩阵 (3) 任何一个单位下三角阵任何一个单位下三角阵 都可分裂成都可分裂成 因此，对任一非奇异下三角阵因此，对任一非奇异下三角阵 ，都可分裂成一个非奇异都可分裂成一个非奇异对角阵和若干个下三角阵的乘积对角阵和若干个下三角阵的乘积 (4) 左乘矩阵左乘矩阵 的结果是从的结果是从 的各行中减去第的各行中减去第 行乘一个因子行乘一个因子 初等下三角阵在矩阵的满秩分解、三角分解以及解线初等下三角阵在矩阵的满秩分解、三角分解以及解线性代数方程组的直接解法中起着重要的作用性代数方程组的直接解法中起着重要的作用2)为单位下三角阵为单位下三角阵 ；；5.2.3 Householder矩阵矩阵定义定义8 设向量设向量 ，且且 ，称形如称形如 为为Householder矩阵矩阵，或称，或称Householder变换、反射矩阵变换、反射矩阵。

要得到要得到Householder矩阵，只要在初等矩阵矩阵，只要在初等矩阵 中中，定理定理5.2.2 Householder矩阵矩阵 具有以下性质：具有以下性质： (1) 矩阵矩阵 是对称阵，即是对称阵，即 ； (2) 矩阵矩阵 是正交矩阵，即是正交矩阵，即 (3) 变换保持向量长度不变，即对任意向量变换保持向量长度不变，即对任意向量 ，;，即可 取向量取向量(4) 设设 为以为以 为法向量过原点的超平面，对任意的非零为法向量过原点的超平面，对任意的非零向量向量 ，有有 与与 关于超平面关于超平面 对称 定理定理5.2.3 对任意的非零向量对任意的非零向量 ，可以适当选择合适的可以适当选择合适的向量向量，满足满足 ，用其构造的用其构造的 矩阵可将矩阵可将 变换为单位向量变换为单位向量 的常数倍，使得的常数倍，使得 其中，其中， 是实数，并且是实数，并且 定义定义9 将将 阶单位阵阶单位阵 改变第改变第 行和第行和第 列的四个列的四个元素得到矩阵元素得到矩阵 5.2.4 Givens旋转矩阵旋转矩阵称为称为Givens旋转矩阵旋转矩阵，或称，或称Givens变换，变换， 为旋转角为旋转角。

是一个正交矩阵，对任意向量是一个正交矩阵，对任意向量 ，由线性变换由线性变换 ，其中，其中， ，可得可得 5.2.5 Hessenberg矩阵矩阵定义定义10 若实矩阵若实矩阵 的次对角线以下元素均为零，即的次对角线以下元素均为零，即 时，时， ，称形如，称形如 的矩阵的矩阵 为为上上Hessenberg（海森伯格）阵（海森伯格）阵，，或拟上三角阵或拟上三角阵如果次对角线元素如果次对角线元素 全不为零，则称该矩阵为全不为零，则称该矩阵为不可约的上不可约的上Hessenberg阵阵 定理定理5.2.4 对任意矩阵对任意矩阵 ，总存在正交阵总存在正交阵 使得使得 为上为上Hessenberg阵 5.2.6 对角占优阵对角占优阵定义定义11 设矩阵设矩阵 ，若存在一个排列阵若存在一个排列阵 ，使得使得 否则称矩阵否则称矩阵 是不可约的不可约的 其中其中 ，则称矩阵则称矩阵 是可约的，是可约的，定义定义12 设矩阵设矩阵 ，若，若 且至少有一个不等式严格成立，则称矩阵且至少有一个不等式严格成立，则称矩阵 为弱对角占优阵弱对角占优阵，对所有不等式严格成立，则称矩阵对所有不等式严格成立，则称矩阵 为为严格对角占优阵严格对角占优阵。

定理定理5.2.5 （对角优势定理）（对角优势定理） 若矩阵若矩阵 为严格对角占优阵为严格对角占优阵，或者为不可约且弱对角占优阵，则或者为不可约且弱对角占优阵，则 若若历史与注记历史与注记 阿尔斯通阿尔斯通·豪斯霍德豪斯霍德(Alston Scott Householder，，1904–1993 )Householder 1904 年生于美国伊利诺州的洛克福特年生于美国伊利诺州的洛克福特1937 年取得了芝加哥大学博士学位之后他获得洛克菲勒基金会的年取得了芝加哥大学博士学位之后他获得洛克菲勒基金会的资助，在芝加哥大学从事研究，资助，在芝加哥大学从事研究， 1944年被提升为数学和生物年被提升为数学和生物物理学的副教授二战后他为美国海军研究实验室作数学顾物理学的副教授二战后他为美国海军研究实验室作数学顾问，他的研究兴趣转向数值计算，不久，他又转移到位于问，他的研究兴趣转向数值计算，不久，他又转移到位于Oak Ridge，，Tennessee 的著名的国家实验室，从事与原子能和武器有关的并行计算的研究的著名的国家实验室，从事与原子能和武器有关的并行计算的研究他于他于1954～～1956年间出任年间出任ACM的主席，的主席，1963—1964年又出任工业与应用年又出任工业与应用数学学会数学学会SIAM的主席。

豪斯霍德的主席豪斯霍德1969年获年获Harry Goode奖，他是美国艺术奖，他是美国艺术和科学院院士和科学院院士1980 年获得计算机先驱奖年获得计算机先驱奖 Householder 的主要贡献在数据处理技术方面，他的研究领域主要是数的主要贡献在数据处理技术方面，他的研究领域主要是数值分析、数值代数、生物数学，尤其是计算机在生物医学和生理学方面的应值分析、数值代数、生物数学，尤其是计算机在生物医学和生理学方面的应用1958年，他发明了年，他发明了“矩阵反演矩阵反演”(matrix inversion)，可用以当圆锥曲线，可用以当圆锥曲线(也就是二次曲线也就是二次曲线)在在n维空间中其坐标轴发生旋转时找出其基本不变式维空间中其坐标轴发生旋转时找出其基本不变式而在用最小二乘法而在用最小二乘法(1east(1east—squsquares)对矩阵进行近似计算对矩阵进行近似计算时，目前常用到的一种变换法也是由豪斯霍德创造的，因时，目前常用到的一种变换法也是由豪斯霍德创造的，因而被称为而被称为Householder transformation”此外， Householder 还是系统使用还是系统使用“范数范数”作为数值方法分析作为数值方法分析理论工具的先驱者。

理论工具的先驱者 关于范数的概念各种中文著作和文献都有详细的介绍，条关于范数的概念各种中文著作和文献都有详细的介绍，条件数的概念是件数的概念是20世纪世纪40年代由图灵提出，详细资料参见文献年代由图灵提出，详细资料参见文献[1],条件数估计的概论参见文献条件数估计的概论参见文献[2]，，Turnbull和埃特金和埃特金Aitken)在在1932年就已经使用过初等反射，即现在的年就已经使用过初等反射，即现在的Householder变换，是变换，是1958年由年由Householder发表的1965年，年，Golub在在求解最小二乘问题中使用求解最小二乘问题中使用Householder方法，可参见文献方法，可参见文献[3]。