主成分分析算法解析.ppt

主成分分析算法的研究报告人：周卫林 2016.4.151背景8应用4几何意义2提出主成分分析算法3原理5数学描述6数学推导7计算步骤9程序演示主成分分析算法的背景指标 在实际 工程领域的研究中，为了 全面、系统地分析问题 ，我们必须考虑众多 的影响因素在多元统计分析中也称为变量主成分分析算法的背景每个变量都在不同程度上反映了 所研究问题的某些信息，并且变 量之间彼此有一定的相关性，因 而使得统计后的数据反映的信息 在一定程度上存在重叠主成分分析算 法的产生原因主成分分析算法的背景在用统计方法研究多变量问题时，变量 太多会大大增加计算量和问题的复杂度 ，会耗费很多硬件、网络资源，所以人 们希望在进行定量分析的过程中，通过 较少的变量得到较多的信息量主成分分析算 法的产生原因主成分分析算法的提出主成分分析(Principal Component Analysis)首先是由K.Pearson在1901年的生物学理论研究中 引入的； 之后H.Hotelling将此方法推广到心理学中随机向量 的情形，使主成分分析得到进一步发展； 1947年，Karhunen独立地用概率论的形式再次描 述了主成分分析算法； 其后，Loe’ve将该理论进一步扩充和完善。

因此主 成分分析也有其它名称，又叫做KLT(Karhunen一 Loeve Transform)或者Hotelling变换卡尔 皮尔逊（Karl Prarson,1857- 1936），英国生物学家和统计学 家 他是现代统计学的奠基人之一 ， 他的主要成就和贡献是在统计学 方面他开始把数学运用于遗传 和进化的随机过程，首创次数分 布表与次数分布图，提出一系列 次数曲线；推导出卡方分布，提 出卡方检验，用以检验观察值与 期望值之间的差异显著性；发展 了回归和相关理论；为大样本理 论奠定了基础皮尔逊的科学道 路，是从数学研究开始，继之以 哲学和法律学，进而研究生物学 与遗传学，集大成于统计学 卡尔 皮尔逊（Karl Prarson,1857- 1936），英国生物学家和统计学 家 他是现代统计学的奠基人之一 ， 他的主要成就和贡献是在统计学 方面他开始把数学运用于遗传 和进化的随机过程，首创次数分 布表与次数分布图，提出一系列 次数曲线；推导出卡方分布，提 出卡方检验，用以检验观察值与 期望值之间的差异显著性；发展 了回归和相关理论；为大样本理 论奠定了基础皮尔逊的科学道 路，是从数学研究开始，继之以 哲学和法律学，进而研究生物学 与遗传学，集大成于统计学。

主成分分析算法的原理以某些线性组合来表示原始数据，再从这些线性组 合中尽可能快地提取原始数据的信息当第一个线性组合不能提取更多的信息时，再考虑 用第二或更多的线性组合继续快速提取数据信息 ……直到所提取的信息与原始数据包含的信息相 差不多或者满足用户精度要求这些线性组合依次被称为第一主成分(主分量)、 第二主成分(主分量)……主成分分析在二维空间的几何意义主成分分析在二维空间的几何意义相当于坐标旋坐标旋 转转主成分分析在二维空间的几何意义主成分分析在二维空间的几何意义相当于坐坐标标标标 旋旋转转转转主成分分析在二维空间的几何意义经过坐标变换可以看到，在新坐标系y1Oy2下m个散点 的坐标Y1和Y2几乎不相关散点总是沿着y1和y2方向 分布，它们在y1轴上的方差达到最大，在y2轴上的方差次之，所以在这两个方向上散点的离散程度很小 在这里，我们把Y1称为第一主成分，Y2称为第二主成 分 主成分分析的数学描述主成分分析就是针对原始数据，要寻求那些主成分并以它们为坐标轴构建一个新的坐标系，使得原始数据在新坐标轴上的投影的方差最大主成分分析可用数学语言描述为:给定n维空间中的m个数据( 如图像信息、工业参数、基因指标等)，寻求一个nxn维的变 换矩阵W,使得Y=[y1,y2,…,ym]=WTX，而且满足新坐标系下各维之间数据的相关性最小，或者说一个去相关性的过程。

主成分分析的数学推导 在下列所有运算中均有i、k∈[1，n]，j∈[1，m]假设有m个n维数据组成的矩阵其中，xi=[xi1,xi2,…,xim]X的均值矩阵和协方差矩阵分别记为主成分分析的数学推导另外，假设转换矩阵其中，wi=[wi1,wi2,…,win]T 主成分分析的数学推导考虑如下的线性变换：用矩阵形式表示为：主成分分析的数学推导我们需要寻求一组新的变量Y1,Y2,...,Yd(d≤n)，这组新的变量要求能充分地反映原变量X1,X2,...,Xn的信息，而且相互独立 对于Y1,Y2,...,Yd有：这样我们所要解决的问题就转化为，在新的变量 Y1,Y2,...,Yd相互独立的条件下寻求，使得达到最大主成分分析的数学推导下面依次求取各主成分构造目标函数并对目标函数微分，有即两边分别左乘，可得主成分分析的数学推导是X的协方差矩阵的特征方程，因为是非负定的，所以特征根均大于0，假设由式 可知Y1的方差为也就是说，Y1的最大方差为，其相应的单位化特征向量是的最大方差为第k大特征根，其相应的单位化特征向量是主成分分析的数学推导由上述推导，我们得到以下结论：设的协方差矩阵为Σ， 其特征根为相应的单位化特征向量为则由此所确定的主成分是 主成分分析的计算步骤 1、计算原始数据矩阵X矩阵的均值矩阵即对每维(行)数据计算平均 值，主成分分析的计算步骤2、计算中心平移矩阵即把每维数据减去由上式求出的平均值主成分分析的计算步骤3、计算数据的协方差矩阵其中，a,b∈[1,n]。

主成分分析的计算步骤4、对协方差矩阵Σ进行特征分析，使 这里它们分别是协方差矩阵的特征值和对应的特征向量将特征值按照由大到小的顺序排列，对应的特征向量也作相应排列主成分分析的计算步骤5、取前d个特征值和特征向量作为子空间的基底，那么主成分可以由中心平移矩 阵在d个基底上投影得到，即主成分分析的应用主成分分析是数据降维技术的典型算法，它通过对矩阵的特征分析把原始数据投影到包含了大部分数据信息的线性子空间中达到数据降维的目的，它的优点在于计算过程简单，数据信息丢失很少在现代科学领域，特别是在网络入侵检测、图像处理 、多元统计分析、生物医学等应用场合 主成分分析在图像处理中的应用v图像匹配图像匹配是根据已知的图像模式，在另 一幅图像中寻找相应或相近模式的过程 人脸识别是模式识别和图像处理等学科的一大研究热点， 在身份鉴别、信用卡识别、护照核对以及监控系统等方面有 着广泛的应用主成分分析在图像处理中的应用人脸识别是将检测出的人脸与数据库中的已知人脸进行比较， 得出有关身份方面的信息即解决“这是谁的脸？” 识别的关键是人脸特征的选择和提取，只有选取适当的人脸表征方式，以 及匹配策略，才能得到较高的识别率。

主成分分析在图像处理中的应用目标跟踪 运用模板匹配定位从而实现目标跟踪的方法是目前的成像 跟踪系统通常采用的方法主成分分析(PCA)具有数据分离和信息压缩等有用的特性，运用主成分分析的方法可以根据图像的整体特征，构造 目标的特征子空间(即由主成分生成的子空间)，从而较好地克服噪声干扰和图像畸变的影响，完成对目标的匹配定位和 跟踪主成分分析在图像处理中的应用v特征提取图像处理中一个非常重要的环节，如何提取有效的判别特征是解决问题的关键基于主成分分析可以保持数据的全局性，使得降维后的数据 从整体上较好的重构和展现对图像应用主成分分析可以对 目标图像的几个重要成分信息进行分析，在尽可能少的损失 原有信息的基础上，将图像的主要特征提取出来，为接下来 的图像分类和匹配提供良好的条件谢谢谢谢 ！欢欢迎老师师和各位同 学批评评指正！。