分类学习笔记课件
48页1、主成分分析 Fisher线性分类器 支持向量机 基于支持向量机的目标跟踪,主要内容,PCA(principal component analysis) 主成分分析,关于PCA的基本问题 PCA数学模型 主成分的解出 PCA的计算步骤 实例,一、关于PCA的基本问题,1、什么是PCA? PCA,即主成分分析是在保证数据信息丢失最少原则下,对高维数据进行降维处理的方法。 2、为什么要进行降维? a、“维数灾难”问题,计算量巨大 b、维数大,处理结果不理想,3、数据降维的目的? a、数据压缩,减少存储量 b、提取特征以便进行分类 c、去除噪声的影响,4、PCA算法基本思想? 待处理的变量之间往往具有相关性,其基本思想是设法将原来众多的具有一定相关性的指标,重新组合成一组较少个数的互不相关的综合指标来取代原来的指标。,5、PCA的优点和缺点?,优点: a、消除了各变量之间的相关影响,减少了计算的工作量 b、主成分包含了主要的信息量,特征明显 c、此法的计算比较规范,便于在计算机上实现,还可以利用专 门的软件 缺点: a、应保证所提取的前几个主成分的累计贡献率较高 b、因为减少了数据量,所以降维
2、后的变量不如原始变量描述的 那么确切,二、主成分分析数学模型,目的:在空间中找到一个主方向u1, u1包含了数据的大部分信息,我们将空间中的样本点投影到该向量中去,使xi投影后分散的最开。,投影表示:,这里要求u1为单位向量,为什么呢?,解释u1为单位向量:,投影到,由于有一个平方,计算起来比较麻烦,所以我们取,即u是一个单位向量,表示:,评价投影后分散程度的指标:方差 方差表示:,X投影到u1上,要求方差最大,可以写为:,表示n个样本为X=x1,x2,xn的均值:,其中,进一步推导:,其中,这里的S即为样本X的协方差矩阵。,至此,要求投影后样本分散的最开的评价转化为表达式:,下面就是求出满足此等式的u1,三、主成分求解,求解方法:利用拉格朗日方程,求解过程:,因为,列出拉格朗日方程,四、求解主成分的步骤,1、 计算协方差矩阵和其特征根 2、计算协方差矩阵特征根对应的特征向量 3、计算累积贡献率,给出恰当的主成分个数。 4、计算所选出的k个主成分的得分。将原始数据的中心化值: 代入前k个主成分的表达式,分别计算出各样本k个主成分的得分。 5、取这k个特征值对应的特征向量,得到主元。,应
3、用举例:PCA在图像压缩的应用,基本思路: (1)将图像分块,每个块代表一个样本 (2)求块之间的协方差矩阵 (3)求的协方差矩阵的特征值和特征向量 (4)取最大的M个特征值对应的特征向量作为主元,将 图像块投影到M个单位特征向量上(M的值小于块数),Fisher线性分类器,关于Fisher的基本问题 线性分类器的数学表达式 推导过程 计算步骤,一、关于Fisher的基本问题,1、什么是Fisher? fisher(Fisher Linear Discriminant)线性分类器,顾名思义,就是对数据进行线性分类,把不同类别的数据区分开。比如在智能交通中进行人车分类。,2、fisher基本思想?,如图所示,fisher基本思想是将n类据集尽可能地投影到一个方向(一条直线),使得类与类之间尽可能地分开。,投影原则:数据的类间距离最大,类内距离最小。,3、我们要做什么? 找到直线的方向,使样本投影到该直线上能最容易分开。 如何找到最好的直线方向,如何实现向最好方向投影的变换,是Fisher要解决的基本问题。这个投影变换就是我们寻求的解向量 。,二、fisher算法的数学表达式,直接给出Fi
4、sher准则函数的数学表达式:,其中:,是原d维特征空间里的样本类内离散度矩阵,表示两类均,越大越容易区分。,值向量之间的离散度大小,因此,,而,称为原d维维特征空间里,样本“类内离散度”矩阵,所以,是样本的“类内总离散度”矩阵。,三、求解步骤,效果演示,人脸识别,分类,支持向量机,支持向量机简介 基本原理 优缺点 应用前景 基于支持向量机的目标跟踪,支持向量机,支持向量机SVM(Support Vector Machine)是统计机器学习的一类重要算法,它是根据统计学习理论,以结构风险最小化原则为理论基础的一种新的机器学习方法,能有效地解决高维数和非线性等问题,有效地进行分类、回归等。,线性可分:如果一个线性函数能够将样本完全正确分开,就称这些数据是线性可分的,否则成为非线性可分。 线性函数:在一维空间是一个点;二维空间是一条直线;三 维空间是一个平面,若不关注维数,这种线性函数还有一个统一的名称-超平面(Hyper Plane),SVM基本原理线性可分型,问题:找到一条直线将白点与黑点分隔开,SVM基本原理,SVM基本原理,SVM基本原理,图上的所有直线都能满足我们的要求,但是哪一
《分类学习笔记课件》由会员我***分享,可在线阅读,更多相关《分类学习笔记课件》请在金锄头文库上搜索。
2020届中考英语备考复习-作文课件
2019年中考英语复习-专题十五-交际运用(试卷部分)课件
2019届二轮复习-高中英语-情态动词和虚拟语气课件
2019届一轮复习苏教版物质的跨膜运输课件
2019年北师大版英语单元复习课件::Unit17Laughter课件北师大版选修6
2021届新中考物理冲刺备考复习-力-弹力-重力课件
2019届一轮复习人教版种群的特征和数量变化课件
2020年高考地理一轮复习--等高线地形图-课件
2019版高考英语一轮复习-Unit-1-Living-well课件
2019届一轮复习人教版孟德尔的遗传定律——基因分离定律课件
2019届高三第二轮复习专题二万有引力定律及其应用课件
2020最新部编版语文五年级上册23-鸟的天堂课件含课后练习
2020版高考(浙江)一轮复习:第7讲-细胞呼吸课件
2020年新教材高中英语UNIT4HISTORYANDTRADITIONSSectionⅢDiscoveringUsefulStructures课件必修第二册
2019届高考历史二轮复习阶段三专题十三罗斯福新政与当代资本主义的新变化课件2
2019版高考生物二轮复习-专题三-细胞的生命历程-考点9-细胞分裂过程图像和坐标曲线的识别课件
(通史版)2021版高考历史一轮复习第4部分高考讲座(三)2高考非选择题(12分开放探究题)规范答题讲练课件
2019届高三地理复习第五讲--《区际联系与区域协调发展》课件
2021人教部编版历史九年级上册习题课件:第18课美国的独立
2020学年新教材高中英语Unit1FoodforthoughtPeriodTwoStartingout课件
2024-04-18 25页
2024-04-18 29页
2024-04-18 38页
2024-04-18 16页
2024-04-09 21页
2024-04-09 26页
2024-04-09 28页
2024-04-09 19页
2024-04-09 26页
2024-04-09 23页