spss聚类分析.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第九章 把对象分类,聚类分析,分类,物以类聚、人以群分；,但根据什么分类呢？,如要想把中国的县分类，就有多种方法,可以按照自然条件来分，比如考虑降水、土地、日照、湿度等，,也可考虑收入、教育水准、医疗条件、基础设施等指标；,既可以用某一项来分类，也可以同时考虑多项指标来分类聚类分析,由于不同的指标项对重要程度或依赖关系是相互不同的，所以也不能用平均的方法，因为这样会忽视相对重要程度的问题所以需要进行多元分类，即聚类分析最早的聚类分析是由考古学家在对考古分类中研究中发展起来的，同时又应用于昆虫的分类中，此后又广泛地应用在天气、生物等方面聚类分析,对一个数据，既可以对变量,(,指标,),进行分类,(,相当于对数据中的列分类,),，也可以对观测值,(,事件，样品,),来分类,(,相当于对数据中的行分类,),当然，不一定事先假定有多少类，完全可以按照数据本身的规律来分类本章要介绍的分类的方法称为聚类分析（,cluster analysis,）对变量的聚类称为,R,型聚类，而对观测值聚类称为,Q,型聚类它们在数学上是无区别的。

饮料数据（,drink.txt,）,16,种饮料的热量、咖啡因、钠及价格四种变量,如何聚类？,聚类分析就是要找出具有相近程度的点或类聚为一类；,如何衡量这个“相近程度”？就是要根据“距离”来确定这里的距离含义很广，凡是满足,4,个条件（后面讲）的都是距离，如欧氏距离、马氏距离,，相似系数也可看作为距离如何度量距离远近？,如果想要对,100,个学生进行分类，而仅知道他们的数学成绩，则只好按照数学成绩分类；这些成绩在直线上形成,100,个点这样就可以把接近的点放到一类如果还知道他们的物理成绩，这样数学和物理成绩就形成二维平面上的,100,个点，也可以按照距离远近来分类如何度量距离远近？,三维或者更高维的情况也是类似；只不过三维以上的图形无法直观地画出来而已在饮料数据中，每种饮料都有四个变量值这就是四维空间点的问题了两个距离概念,按照远近程度来聚类需要明确两个概念：一个是,点和点之间,的距离，一个是,类和类之间,的距离点间距离,有很多定义方式最简单的是欧氏距离当然还有一些和距离相似但起同样作用的概念，比如相似性等，两点越相似，就相当于距离越近两个距离概念,由一个点组成的类是最基本的类；如果每一类都由一个点组成，那么点间的距离就是类间距离。

但是如果某一类包含不止一个点，那么就要确定类间距离类间距离,是基于点间距离定义的：比如,两类之间最近点之间的距离,可以作为这两类之间的距离，也可以用,两类中最远点之间的距离,或各类的中心之间的距离来作为类间距离两个距离概念,在计算时，各种点间距离和类间距离的选择是通过统计软件的选项实现的不同的选择的结果会不同，但一般不会差太多向量,x=(x,1,x,p,),与,y=(y,1,y,p,),之间的距离或相似系数,:,欧氏距离,:,Euclidean,平方欧氏距离,:,Squared Euclidean,夹角余弦,(,相似系数,1),:,cosine,Pearson correlation,(,相似系数,2):,Chebychev,:,Max,i,|x,i,-y,i,|,Block(,绝对距离,):,S,i,|x,i,-y,i,|,Minkowski,:,当,变量的测量值相差悬殊时,要先进行标准化,.,如,R,为,极差,s,为,标准差,则标准化的数据为每个观测值减去均值后再除以,R,或,s.,当观测值大于,0,时,有人采用,Lance,和,Williams,的,距离,类,G,p,与类,G,q,之间的距离,D,pq,(,d(x,i,x,j,),表示,点,x,i,G,p,和,x,j,G,q,之间的距离,),最短距离法,:,最长距离法,:,重心法,:,离差平方和,:,(,Wald,),类平均法,:,有了上面的点间距离和类间距离的概念，就可以介绍聚类的方法了。

这里介绍两个简单的方法事先要确定分多少类：,k-,均值聚类,前面说过，聚类可以走着瞧，不一定事先确定有多少类；但是这里的,k-,均值聚类（,k-means cluster,，,也叫快速聚类，,quick cluster,）,却要求你先说好要分多少类假定你说分,3,类，这个方法还进一步要求你事先确定,3,个点为“聚类种子”,(SPSS,软件,自动,为你选种子,),；也就是说，把这,3,个点作为三类中每一类的基石事先要确定分多少类：,k-,均值聚类,然后，根据和这三个点的距离远近，把所有点分成三类再把这三类的中心,(,均值,),作为新的基石或种子,(,原来“种子”就没用了,),，再重新按照距离分类如此迭代下去，直到达到停止迭代的要求（比如，各类最后变化不大了，或者迭代次数太多了）显然，前面的聚类种子的选择并不必太认真，它们很可能最后还会分到同一类中下面用饮料例的数据来做,k-,均值聚类假定要把这,16,种饮料分成,3,类利用,SPSS,，,只迭代了三次就达到目标了（计算机选的种子还可以）这样就可以得到最后的三类的中心以及每类有多少点根据需要，可以输出哪些点分在一起结果是：第一类为饮料,1,、,10,；第二类为饮料,2,、,4,、,8,、,11,、,12,、,13,、,14,；第三类为剩下的饮料,3,、,5,、,6,、,7,、,9,、,15,、,16,。

SPSS,实现,(,聚类分析,),K-,均值聚类,以数据,drink.sav,为例，在,SPSS,中选择,Analyze,Classify,K-Means Cluster,然后把,calorie,（,热量）、,caffeine,（,咖啡因）、,sodium,（,钠）、,price,（,价格）选入,Variables,在,Number of Clusters,处选择,3,（想要分的类数）,如果想要知道哪种饮料分到哪类，则选,Save,，,再选,Cluster Membership,等,注意,k-,均值聚类只能做,Q,型聚类，如要做,R,型聚类，需要把数据阵进行转置,事先不用确定分多少类：分层聚类,另一种聚类称为分层聚类或系统聚类（,hierarchical cluster,）开始时，有多少点就是多少类它第一步先把最近的两类（点）合并成一类，然后再把剩下的最近的两类合并成一类；,这样下去，每次都少一类，直到最后只有一大类为止越是后来合并的类，距离就越远对于饮料聚类，,SPSS,输出为,“,冰柱图”,(icicle),聚类要注意的问题,聚类结果主要受所选择的变量影响如果去掉一些变量，或者增加一些变量，结果会很不同。

相比之下，聚类方法的选择则不那么重要了因此，聚类之前一定要目标明确聚类要注意的问题,另外就分成多少类来说，也要有道理只要你高兴，从分层聚类的计算机结果可以得到任何可能数量的类但是，聚类的目的是要使各类之间的距离尽可能地远，而类中点的距离尽可能的近，并且分类结果还要有令人信服的解释这一点就不是数学可以解决的了SPSS,中的聚类分析与过程,SPSS,中的聚类分析,Spss,中的聚类功能常用的有两种：,快速聚类（迭代过程）：,K-Means Cluster,分层聚类：,Hierarchical,K-Means Cluster,原理,首先,，选择,n,个数值型变量参与聚类分析，最后要求的,聚类数为,k,个,；,其次,，,由系统选择,k,个,(,聚类的类数）,观测量,（也可由用户指定）,作为聚类的种子,第三,，按照距离这些类中心的,距离最小的原则,把所有观测量（样品）分派到各类重心所在的类中去第四,，这样每类中可能由若干个样品，计算每个类中各个变量的均值，以此作为第二次迭代的中心；,第五,，然后根据这个中心重复第三、第四步，直到中心的迭代标准达到要求时，聚类过程结束K-Means Cluster,聚类过程,由,AnalyzeClassify,K-Means Cluster,将各变量放入,Variable,输入最后聚类的个数,Hierarchical Cluster,聚类,分层聚类由两种方法：分解法和凝聚法。

分层聚类的功能：即可进行样品的聚类，也可进行变量的聚类分层聚类的原理：即我们前面介绍过的系统聚类方法的原理和过程Hierarchical Cluster,聚类,分层聚类的中要进行以下的选择：,数据的标准化,测度方法的选择,：距离方法的选择或相似性、关联程度的选择,聚类方法的选择,：即以什么方法聚类，,spss,中提供了,7,种方法可进行选择,输出图形的选择：树形图或冰柱图,聚类方法的优缺点,类平均法比较好,因为与类平均法相比，最短距离法和重心法是“空间浓缩”，即并类的距离范围小，区别类的灵敏度差；,与类平均法相比，其他方法是“空间扩张”，即并类距离范围大，区别类的灵敏度强快速聚类法与层次聚类法应用区别,层次聚类法的聚类过程是单方向的，一旦某个样品（,case,）进入某一类，就不可能从该类出来，再归入其他的类而快速聚类法受奇异值、相似测度和不合适的聚类变量的影响较小，对于不合适的初始分类可以进行反复调整,.,快速聚类法与层次聚类法应用区别,在聚类分析发展的早期，层次聚类法应用普遍，其中尤以组间类平均法和离差平方和法应用最广后来快速聚类方法逐步被人们接受，应用日益增多现在是两者相结合，取长补短。

首先使用层次聚类法确定分类数，检查是否有奇异值，去除奇异值后，对剩下的案例重新进行分类，把用层次聚类法得到的各个类的重心，作为迭代法的初始分类中心，对样本进行重新调整SPSS,实现,(,聚类分析,),分层聚类,对,drink.sav,数据在,SPSS,中选择,Analyze,Classify,Hierarchical Cluster,然后把,calorie,（,热量）、,caffeine,（,咖啡因）、,sodium,（,钠）、,price,（,价格）选入,Variables,在,Cluster,选,Cases,（,这是,Q,型聚类：对观测值聚类），如果要对变量聚类（,R,型聚类）则选,Variables,为了画出树状图，选,Plots,，,再点,Dendrogram,等。