第五章因子分析.doc

注意电子文档使用范围注意电子文档使用范围《多 元 统 计 分 析》Multivariate Statistical Analysis统计学院应用统计学教研室第五章 因子分析【教学目的】1． 让学生了解因子分析的背景、基本思想；2． 掌握因子分析的基本原理与方法；3． 掌握因子分析的操作步骤和基本过程；4． 学会应用因子分析解决实际问题教学重点】1． 因子旋转与因子得分；2． 因子分析与主成分分析的联系与区别§1 概述一、 引言1．问题提出（研究背景）在上一章，已经介绍了一种简化数据结构的方法——主成分分析法其基本目的是从尽可能多地占有原始数据的总变差出发来构造少数变量的线性组合变量——综合变量本章来讨论另外一种简化数据结构的方法——因子分析，它不同于主成分分析，可以看成是其推广形式在经济学、人口学、社会学、心理学、教育学等领域中，有许多基本特征，例如：“态度”、“认识”、“爱好”、“能力”、“智力”等，实际上是不可直接观测的量但是这些基本特征常常对事物的结果起着决定性作用比如学生通过考试得到英语、高等数学、大学物理、计算机、统计学、多元统计、数理统计、经济学等课程的成绩把每门课的成绩看作一个变量，显然这些变量必定受到一些共同因素的影响，比如全面智力，或者细分一点，如逻辑思维能力，形象思维能力和记忆力等，都是影响这些课程成绩的公共因素。

另外，每门课程的成绩还可能受自己特点因素的影响，如英语的语言能力、大学物理的动手实验能力、高等数学的推理能力等2．因子分析的产生1904年Charles Spearman发表《对智力测验得分进行统计分析》一文，标志着因子分析方法的产生因子分析最早用于心理学和教育学方面的研究，目前广泛应用于各领域3．什么是因子分析因子分析就是要利用少数几个潜在变量或公共因子去解释多个显在变量或可观测变量中存在的复杂关系换句话说，因子分析是把每个原始（可观测）变量分解为两部分因素，一部分是由所有变量共同具有的少数几个公共因子构成的；另一部分是每个原始变量独自具有的因素，即所谓的特殊因素部分或特殊因子部分正是特殊因子的存在，才使一原始变量有别于其它原始变量属于多元统计分析中处理降维的一种统计方法由此可知，因子分析注重的是因子分析的具体形式，而不考虑各变量的变差贡献大小例如，某公司对100名招聘人员的知识和能力进行测试，出了50首题的试卷，其内容包括的面较广，但总的来讲可以归纳为六个方面：语言表达能力、逻辑思维能力、判断事物的敏捷和果断程度、思想修养、兴趣爱好、生活常识等，我们将每一个方面称为因子，显然这里所说的因子不同于回归分析中的因素 因子是一种比较抽象的概念，后者具有极为明确的经济意义。

现假设100人测试的分数可以用上述六个因子表述为线性函数： 因子模型与回归模型在形式上相同，在实质上不同：①是抽象因子，不是变量，其值不可直接观测；②参数的统计意义不一样其中，表示六个因子，它对所有是共有的因子，通常称为公共因子 公共因素，也称公共因子，是事物的基本特征或本质因子，是不可直接观测的潜在变量它们的系数称为因子载荷，它表示第个应试人员在六因子方面的能力是第个应试人员的能力和知识不能被前六个因子包括的部分，称为特殊因子，通常假定：因子分析的任务，首先估计出和方差，然后将这些抽象因子赋予实际背景的解释或予以命名因子分析有两种类型：R型，对变量作因子分析；Q型，对样品作因子分析二、 基本思想因子分析的思想是通过变量（或样品）的相关系数矩阵（相似系数矩阵）内部结构的研究，找出能控制所有变量（或样品）的少数几个随机变量去描述多个变量（或样品）之间相关（相似）关系这样因子分析一方面可简化观测系统，简化原始变量结构，再现变量之间的内在联系，达到降维的目的；另一方面可对原始变量进行分类，把相关性较高，即联系比较紧密的变量归为同一类，而不同类的变量之间的相关性较低§2 因子分析的数学模型实际工作中，我们所掌握的只是搜集到的样本数据资料，例如学生的各科成绩，企业的各项指标等。

所以这里我们帖变量出发，通过变量模型，即总体因子分析模型引伸出样本因子分析模型一、 因子模型（正交因子模型）1．总体因子模型 R型因子分析和Q型因子的计算过程完全相同，只不过出发点不同：R型是从相关系数矩阵出发；Q型是从相似系数矩阵出发用矩阵表示：简记为：或满足条件：①；②；③，，即不相关且方差均为1；④，，即不相关且方差不同；⑤，即与不相关模型解释：①模型将原始变量表为个公共因子的线性组合，即将原始变量置于个公共因子张成的空间下进行研究，因子分析的实质是将具有错综复杂关系的变量综合为数量较少的几个因子，以再现原始变量与因子之间的相互关系；②称为的公共因子（综合变量），是不可观测的向量，可以理解为在高维空间中互相垂直的个坐标轴；③为因子载荷，是第个变量在第个公共因子上的负荷如果把看成维空间中的一个向量，则表示在坐标轴上的投影矩阵被称为因子载荷矩阵；④为的特殊因子，理论上要求的协方差矩阵为对角阵；⑤不相关，若相关，模型称为斜交因子模型；⑥因子分析与主成分分析的联系联系：同属降维技术，求解过程相似，特征向量和因子载荷之间具有联系区别：因子分析注重模型的具体形式，而不考虑变量变差贡献大小；主成分分析的数学模型实质上是一种变换，而因子分析模型则是用来描述协差阵结构的一种模型，当时，不考虑，因子分析也对应一种变量变换；主成分分析中每个主成分相应系数是唯一确定的，每个因子的相应系数不是唯一的，即因子载荷阵不唯一，这为因子旋转奠定了基础。

事实上，不妨设为一阶正交矩阵，则因子模型可写成：，则也是公共因子，是相应的因子载荷矩阵，因为仍满足约束条件：，2．样本因子模型标准化后的数据为，则由总体因子模型可得样本因子模型其中为因子载荷矩阵，含义同前；，特殊因子矩阵；，公共因子矩阵；样本因子模型的性质可由总体因子模型得出 这里二、 因子载荷的统计意义及性质1．因子载荷矩阵的统计意义已知模型： 这里已经标准化两端右乘并取数学期望得：由于在标准化条件下，有：，，，，因此，，所以上式可以写成 各因子互不相关，相关系数为0故因子载荷的统计意义就是第个变量与第个公共因子的相关系数即表示依赖于的份量（比重）统计学的术语应该叫作权，但由于历史的原因，心理学家将它称作载荷，即表示第个变量在第个公共因子上的负荷，它反映了第个变量在第个公共因子上的相对重要性2．因子载荷矩阵的统计意义因子载荷矩阵中，各行元素的平方和 或 称为的共同度为说明其统计意义，现在考察的方差由于已经标准化，所以有即：变量方差＝公共因子方差＋特殊因子方差这说明的方差由两部分组成：第一部分为共同度，它刻划全部公共因子对变量的总方差所作的贡献；第二部分是特定变量所产生的方差，称为特殊因子方差，仅与变量本身的变化有关，它是使的方差为1的补充值。

易见越接近于1，因子分析越有效3．公共因子的方差贡献及其统计意义因子载荷矩阵中，各列元素的平方和 或 称为公共因子的方差贡献，它是第个公共因子对所有原始变量的方差贡献总和当公共因子的方差贡献与个变量的总方差进行比较时，称的方差贡献率为第个公共因子的方差贡献率方差贡献率是衡量公共因子相对重要程度的一个指标方差贡献率越大，该公共因子就相对地越重要4．正交因子载荷不具有唯一性因为，所以相关系数矩阵为 这时，协方差阵与相关系数阵等价 其中，说明相关系数矩阵可以分解为两部分，但这种分解并不唯一设为一正交矩阵这里，令，，相当于作一正交变换或正交旋转前面已经讨论满足因子分析的要求所以，有NOTE：①若不考虑正交旋转时，因子载荷矩阵是唯一的；②即使在正交旋转情况下，共同度保持不变；③变量与的相关系数（或协方差）为因子载荷矩阵中第行与第行对应元素乘积之和，即§3 因子分析模型求解或估计可以说，因子载荷矩阵的确立是因子分析中至关重要的一步，求解因子分析模型的过程就是寻找因子载荷矩阵的过程实际工作中，求解因子模型的方法很多，这里只介绍两种常用的方法一、 主因子法1．基本思想如果共同度已知，随之特殊因子方差也已知；或者特殊因子方差已知，随之公共因子方差或共同度也已知，则便精确地知道。

为非负定矩阵，存在正交矩阵将其变为对角矩阵，即其中，为的非零特征根，为单位正交特征向量，并且则我们可以取即得到的精确解，并且这个解满足：该式进一步说明了全部特征根之和就是总共同度然而，实际工作中和都是未知的，甚至也未知于是不可能象上面那样求出和的精确解然而，仿此可以求出其近似解如果先给出共同度的一个估计值，随即可以求出的一个估计值，于是可以得到约化相关矩阵然后，由方程求出的特征根（不妨设）及对应的前特征向量，于是若取，则根据，可有因此，是因子载荷矩阵的一个估计，再求特殊因子方差矩阵的估计，为为了提高精度，往往采用迭代法，即利用上面得到的代替前面的进行迭代，直到解稳定为止2．基本步骤STEP01：给出共同度的初始估计值；STEP02：由求出 ，并求出约化相关系数矩阵；STEP03：求约化相关系数矩阵的前个特征根及对应的前特征向量，且令；STEP04：求出的估计；STEP05：返回STEP02用代，直到的值和的值达到稳定为止给出初始估计计算和计算和，令计算的估计及是否稳定？给出公共因子和特殊因子YNNOTE：①的选取问题尽管是非负定阵，但由其得到的约化相关矩阵却不一定是非负阵，可能会有负特征根。

这时侯正的特征根之和将超过总共同度（即的迹），因为全部特征根之和就是总共同度常用的确定的办法是按特征根由大至小的次序抽取，直到与接近为止这样确定的不超过正特征根的个数；②共同度的选取法一：取，其中是相关系数矩阵的逆阵中的主对角线元素因此有法二：取为第个变量与其它所有变量的复相关系数的平方法三：取为第个变量与其它所有变量的相关系数的最大值（绝对值），即，其中为变量与的相关系数二、 主成分分析法1．主成分分析与因子分析的区别与联系P1772．主成分解设相关系数矩阵的特征根，对应的单位正交特征向量为设矩阵，则可以分解为为一个精确的因子分解式，使用了主成分成分方法事实上，由，令，即可以实现同时，因子分析还要只选择个因子，因此当后个特征根较小时，去掉矩阵的最后几列将分块：，则 该式即为因子分析模型的主成分解与的主对角线元素是相等的，而非主对角线上的元素却不相等其中，， 与的最大差异就是忽略了其中的非主对角线元素NOTE：该方法在实际使用中也会遇到的选择问题①如果取个因子后，使残差矩阵的元素绝对值都很小，则认为该值合适；②根据公共因子的累积方差贡献率需要达到一定的比例来选择；③选择的个数为公共因子数。

三、 其它解法除上述的两种方法以外，常用的还有不加权的最小二乘法，一般的加权最小二乘法、重心法、因子分析法、映象因子分析法、最小残差法、最大似。