奇异值分解及应用分享资料.ppt

定理定理：设：设则存在则存在使得使得右式称为矩阵右式称为矩阵A A的的等价标准型等价标准型酉等价酉等价：设：设若存在若存在m m阶酉矩阵阶酉矩阵U U和和n n阶酉矩阵阶酉矩阵V V，使得，使得则称则称A A与与B B酉等价酉等价矩阵的奇异值分解矩阵的奇异值分解就是矩阵在就是矩阵在酉等价酉等价下的一种下的一种标准型标准型第第一一节节 奇异值分解奇异值分解1引理引理1 证明证明 设设 是是AHA的特征值，的特征值，x是相应的特征向量，是相应的特征向量，则则 AHAx=  x由于由于AHA为为Hermite 矩阵，故矩阵，故 是实数又是实数又同理可证同理可证AAH的特征值也是非负实数的特征值也是非负实数2证明证明 设设x x是方程组是方程组A AH HAx=0Ax=0的非的非0 0解解，，引理引理2 2 则由则由得得3对于Hermite 矩阵AHA， AAH，设 AHA， AAH有r个非0特征值，分别记为即： AHA与AAH非0特征值相同，并且非零特征值的个数为4奇异值的定义奇异值的定义说明：说明：A的正奇异值个数等于的正奇异值个数等于 ，并且，并且A与与AH有相同的奇有相同的奇异值。

异值5定理定理 酉等价酉等价的矩阵有的矩阵有相同的奇异值相同的奇异值由由6奇异值分解定理奇异值分解定理 设设A是秩为是秩为的的则存在则存在 阶酉矩阵阶酉矩阵矩阵矩阵, ,与与 阶酉矩阵阶酉矩阵使得使得其中其中为矩阵为矩阵A的全部奇异值的全部奇异值. .①7证明证明 设矩阵 的特征值为则存在n阶酉矩阵 ，使得 将 分块为其中 ， 分别是 的前 r 列与后 列.②8并改写②式为则有由③的第一式可得③由③的第二式可得令 ，则 ，即 的r个列是两两正交的单位向量.记9因此可将 扩充成标准正交基，记增添的向量为 ，并构造矩阵则是m阶正交矩阵,且有于是可得10称上式为矩阵A的奇异值分解.11推论推论 在矩阵在矩阵A A的的奇异值分解奇异值分解A A= =UDVUDVH H中，中，U U的列向量为的列向量为AAAAH H的特征向量，的特征向量， V V的列向量为的列向量为A AH HA A的特征向量的特征向量. .121]1]求矩阵求矩阵A AH HA A的酉相似对角矩阵及酉相似矩阵的酉相似对角矩阵及酉相似矩阵V V; ;5] 5] 构造奇异值分解构造奇异值分解 4]4]扩充扩充U U1 1为酉矩阵为酉矩阵U=(U=(U U1 1 , ,U U2 2) )3]3]令令2]2]记记奇异值分解方法奇异值分解方法1—1—利用矩阵利用矩阵A AH HA A求解求解13例例1、求矩阵、求矩阵的奇异值分解的奇异值分解可求得可求得 的特征值为的特征值为对应的特征向量依次为对应的特征向量依次为于是可得：于是可得：令令其中其中计算：计算：14构造：构造：则则的奇异值分解为的奇异值分解为15奇异值分解方法奇异值分解方法2--2--利用矩阵利用矩阵AAAAH H求解求解1]1]先求矩阵先求矩阵AAAAH H的酉相似对角矩阵及酉相似矩阵的酉相似对角矩阵及酉相似矩阵U U; ;4]4]扩充扩充V V1 1为酉矩阵为酉矩阵V=(V=(V V1 1 , ,V V2 2) )5] 5] 构造奇异值分解构造奇异值分解 2]2]记记3]3]令令16例例 求矩阵求矩阵A的奇异值分解的奇异值分解利用矩阵利用矩阵AAH求解求解171819第二节第二节 奇异值分解的性质奇异值分解的性质与应用与应用1.1.奇异值分解可以降维奇异值分解可以降维 A表示 个 维向量，可以通过奇异值分解表示成 个 维向量.若A的秩 远远小于 和 , 则通过奇异值分解可以降低A的维数.可以计算出，当 时，可以达到降维的目的，同时可以降低计算机对存贮器的要求.202. 奇异值对矩阵的扰动不敏感奇异值对矩阵的扰动不敏感 特征值对矩阵的扰动敏感. 在数学上可以证明，奇异值的变化不会超过相应矩阵的变化，即对任何的相同阶数的实矩阵A、B的按从大到小排列的奇异值 和有213. 3. 奇异值的比例不变性奇异值的比例不变性, ,即即 的奇异值是的奇异值是A的的奇异值的奇异值的 倍倍. .4.4.奇异值的旋转不变性奇异值的旋转不变性. .即若即若P是正交阵，是正交阵，PA的奇的奇异值与异值与A的奇异值相同的奇异值相同. . 奇异值的比例和旋转不变性特征在数字图象的旋转、镜像、平移、放大、缩小等几何变化方面有很好的应用.225. 容易得到矩阵A的秩为 的一个最佳逼近矩阵. A是矩阵的加权和，其中权系数按递减排列：23假设推荐系统中有用户集合有6个用户，即U={u1,u2,u3,u4,u5,u6}，项目（物品）集合有7个项目，即V={v1,v2,v3,v4,v5,v6,v7}，用户对项目的评分结合为R，用户对项目的评分范围是[0, 5]，如图所示。

推荐系统推荐系统24推荐系统的目标就是预测出符号“？”对应位置的分值推荐系统基于这样一个假设：用户对项目的打分越高，表明用户越喜欢因此，预测出用户对未评分项目的评分后，根据分值大小排序，把分值高的项目推荐给用户25 矩阵分解目标就是把用户-项目评分矩阵R分解成用户因子矩阵和项目因子矩阵乘的形式，即R=UV，这里R是n×m， n =6， m =7，U是n×k，V是k×m，如图所示。