清华大学系统工程11 (7)
86页1、系统工程导论,开课单位:清华大学自动化系 授课时间:2009年春季学期 主讲教师:胡坚明副教授,清华大学本科专业限选课程,第五章 主成分分析方法,5.1 引言 5.2 主成分分析基本原理 5.3 主成分的计算方法及有关性质 5.4 主成分的计算方法证明,例:一批龟壳化石的长、宽、高数据,请将全部乌龟分为三类,5.1 引言,若存在一个线性关系,或者,或者,或者,观察:长、宽、高之间近似存在线性关系,只需要根据两个变量分类!,5.1 引言,或者,或者,或者,若存在两个线性关系,只需要根据一个变量分类,5.1 引言,据长分类,据高分类,4,4,据宽分类,5,5,根据什么变量分类较好?,4,5,5.1 引言,任取,只要有关向量线性无关,就成立,若存在两个线性关系,例如,5.1 引言,一般性建模问题,使得,和,如果变量间近似线性相关,则存在低维向量,所以,一旦知道,,于是,的样本数据,可考虑低维问题,5.1 引言,主成分分析试图从样本点定量变量的数据表中,找出最为关键的少数综合变量,能与原有系统数据保持很高的一致性。 实际采用降维方法(如20维降为2维),只选择起最主要作用的自变量和因变量来建模
2、。 在数学上,可以看成将坐标做平移和旋转变换,使得新坐标的原点与样本数据群的重心重合,第一轴(称为第一主轴u1)与数据变异最大的方向对应;第二轴与数据变异次大的方向对应依此类推。经有效舍弃后,主轴u1 u2 up能十分有效地表示原数据的变异情况。,5.2 主成分分析基本原理,主成分分析几何意义: 平移旋转,使得样本点在第一主轴的方差最大,5.2 主成分分析基本原理,变量的样本均值,变量的样本方差,基本准则:分类变量的分散程度越大越有利,变量的分散程度可用其样本方差表示,5.2 主成分分析基本原理,确定分类变量的基本方式,5.2 主成分分析基本原理,辅助措施:对组合变量施加规范化约束,措施1:对原始变量的尺度规范化,措施2:对组合参数的尺度规范化,5.2 主成分分析基本原理,最终的优化模型,其中,该问题的最优解,就是这组样本数据的第一主成分,5.2 主成分分析基本原理,在当前情况下用第一主成分分类最有利!,因为由线性关系,仍可得到,5.2 主成分分析基本原理,任取,只要有关行向量线性无关,就成立,若仅存在一个线性关系,例如,5.2 主成分分析基本原理,类似于前面的讨论,可求解,措施3:,
3、保证两个组合向量线性无关!,5.2 主成分分析基本原理,最终模型,最优解就是第一和第二主成分,5.2 主成分分析基本原理,给定一组样本数据:,一般情况,首先求出其规格化的数据:,5.2 主成分分析基本原理,确定m个主成分的优化模型为,5.2 主成分分析基本原理,符号约定:,5.2 主成分分析基本原理,5.2 主成分分析基本原理,因为,5.2 主成分分析基本原理,结论:,5.3 主成分的计算方法及有关性质,主成分的样本均值,主成分的样本方差,5.3 主成分的计算方法及有关性质,主成分的样本方差之和,5.3 主成分的计算方法及有关性质,样本相关矩阵,因为,所以,5.3 主成分的计算方法及有关性质,分类变量的个数选择准则,设定方差阈值,选择最小的m,满足,取前m个主成分为分类变量,5.3 主成分的计算方法及有关性质,乌龟数例的计算结果,取第一个主成分为分类变量,5.3 主成分的计算方法及有关性质,-2.4310 -2.4410 -2.0023 0.2349 0.1351 -0.6467 0.3475 0.5134 0.1407 2.1487 2.0953 1.9055,主成分,分类结果,1-
4、3,4-9,10-12,5.3 主成分的计算方法及有关性质,5.4 主成分的计算方法证明,基本出发点:实对称矩阵的正交对角分解,5.4 主成分的计算方法证明,记,q(k)是 XXT 的第 k 大的 特征向量对应的特征根,5.4 主成分的计算方法证明,5.4 主成分的计算方法证明,令,注意,所以,5.4 主成分的计算方法证明,5.4 主成分的计算方法证明,记,5.4 主成分的计算方法证明,引理1,则成立,5.4 主成分的计算方法证明,证明,因为,所以,另外,显然成立,5.4 主成分的计算方法证明,因为,记,5.4 主成分的计算方法证明,的对角线元素大于或等于0,证明结束,引理2,则成立,5.4 主成分的计算方法证明,证明,如果m = n,,如果m n,但是,显然成立,下面将推出矛盾,从而证明引理成立。,5.4 主成分的计算方法证明,证明结束,5.4 主成分的计算方法证明,根据引理1,根据引理2,5.4 主成分的计算方法证明,令,5.4 主成分的计算方法证明,5.4 主成分的计算方法证明,因此,是最优解!,回忆,最终,是原问题的最优解!,5.4 主成分的计算方法证明,结论,是优化问题,的一
《清华大学系统工程11 (7)》由会员n****分享,可在线阅读,更多相关《清华大学系统工程11 (7)》请在金锄头文库上搜索。
项目二财务管理价值观念
山东省安全生产风险分级管控与隐患排查治理信息化系统交流材料-2018.9.26
人教版高中地理必修3第一章地理环境与区域发展第二节《地理信息技术在区域地理环境研究中的应用》
第三章2房地产抵押贷款-固定利率抵押贷款
第八章工程质量法律制度
第25讲家庭电路与安全用电
餐厅点餐系统项目
项目7水箱水位控制
框架完整个人年度工作总结范文模板
科目名称-国土交通省
金融工程09课件
高校自主招生之结构化面试
房地产私募股权投资基金(PE)专题研究.
房地产基础知识培训2012
第一章食品检测技术基础知识
第10章网站设计与建设综合实例
第5章尝试迷人的机器人项目机器人灭火项目
自考英语二unit3
企业人力资源管理师第六章劳动法与劳动关系管理
第三章市场营销宏观环境分析
2023-12-11 28页
2023-12-11 28页
2023-12-11 27页
2023-12-11 31页
2023-12-11 27页
2023-12-11 27页
2023-12-11 33页
2023-12-11 28页
2023-12-11 26页
2023-12-11 29页