统计学非参数检验ppt课件.ppt

第六章第六章 非参数检验非参数检验方法的回顾方法的回顾l单个因素（两水平）的作用评价：两组比较Ø完全随机设计下的单因素两组比较Ø匹配设计的两组比较l单个因素（多水平）的作用评价：多组比较Ø完全随机设计下的单因素多水平比较l两个因素的分析问题Ø无交互作用、有交互作用l单因素两组比较：t检验Ø完全随机两组均数比较的t检验（独立t检验）Ø匹配设计下两组均数比较的t检验（匹配t检验）l单因素多组比较：方差分析Ø完全随机设计下的多组均数比较局限性局限性lt检验Ø独立t检验要求：正态、方差相等（或不相等）、个体独立Ø匹配t检验要求：差值正态、个体独立l方差分析Ø单因素多水平比较方差分析要求：正态、方差相等、个体独立未解决问题未解决问题l两组性别结构是否相同？l疗效用痊愈、显效、有效、无效四级分类法进行评价时，两组或多组如何比较？l如何检验样本数据来自的总体服从正态分布？l总体不是正态分布，小样本情况下，如何检验总体的集中趋势？l有6名歌手参加比赛，4名评委进行评判打分，推断评委的评判标准是否一致l……l参数检验：Ø样本被视为从分布族的某个参数族抽取出来的总体的代表，而未知的仅仅是总体分布具体的参数值Ø推断问题就转化为对分布族的若干个未知参数的估计问题，用样本对这些参数做出估计或者进行某种形式的假设检验，这类推断方法称为参数方法。

l非参数检验（nonparametric tests）Ø又称为任意分布检验（distribution- free test），它不考虑研究对象总体分布具体形式，也不对总体参数进行统计推断Ø仅仅依赖于数据观测值的相对大小(秩)等，而是通过检验样本所代表的总体分布形式是否一致来得出统计结论l非参数统计的名字中的“非参数(nonparametric)”意味着其方法不涉及描述总体分布的有关参数；l它被称为“和分布无关”(distribution—free)，是因为其推断方法和总体分布无关；不应理解为与所有分布(例如有关秩的分布)无关． l对总体假定较少，有广泛的适用性，对总体假定较少，有广泛的适用性，结果稳定性较好结果稳定性较好Ø假定较少假定较少Ø不需要对总体参数的假定不需要对总体参数的假定Ø与参数结果接近与参数结果接近l针对几乎所有类型的数据形态针对几乎所有类型的数据形态l容易计算容易计算Ø在计算机盛行之前就已经发展起来在计算机盛行之前就已经发展起来非参数检验的优点l可能会浪费一些信息可能会浪费一些信息Ø特别当数据可以使用参数模型特别当数据可以使用参数模型的时候的时候l大样本手算相当麻烦大样本手算相当麻烦l一些表不易得到一些表不易得到非参数检验的弱点已知总体分布类型已知总体分布类型已知总体分布类型已知总体分布类型，对，对，对，对未知参数进行统计推断未知参数进行统计推断未知参数进行统计推断未知参数进行统计推断依赖于特定分布类依赖于特定分布类依赖于特定分布类依赖于特定分布类型，比较的是型，比较的是型，比较的是型，比较的是参数参数参数参数 参数检验参数检验 （（（（parametric testparametric test）））） 非参数检验非参数检验 （（（（nonparametric testnonparametric test））））对总体的分布类型对总体的分布类型对总体的分布类型对总体的分布类型不作严格要求不作严格要求不作严格要求不作严格要求 不受分布类型的影响，比不受分布类型的影响，比不受分布类型的影响，比不受分布类型的影响，比较的是较的是较的是较的是总体分布位置总体分布位置总体分布位置总体分布位置 优点优点优点优点：方法简便、易学易用，易于推广使用、：方法简便、易学易用，易于推广使用、：方法简便、易学易用，易于推广使用、：方法简便、易学易用，易于推广使用、应用范围广；可用于参数检验难以处理的资料应用范围广；可用于参数检验难以处理的资料应用范围广；可用于参数检验难以处理的资料应用范围广；可用于参数检验难以处理的资料( (如等级资料，或含数值如等级资料，或含数值如等级资料，或含数值如等级资料，或含数值“>50mg”“>50mg”等等等等 ) )缺点缺点缺点缺点：方法比较粗糙，对于符合参数检验条件者，采用：方法比较粗糙，对于符合参数检验条件者，采用：方法比较粗糙，对于符合参数检验条件者，采用：方法比较粗糙，对于符合参数检验条件者，采用非参数检验会损失部分信息，其非参数检验会损失部分信息，其非参数检验会损失部分信息，其非参数检验会损失部分信息，其检验效能较低检验效能较低检验效能较低检验效能较低；样本含；样本含；样本含；样本含量较大时，两者结论常相同量较大时，两者结论常相同量较大时，两者结论常相同量较大时，两者结论常相同非参数检验的特点非参数检验的特点Ø非参数检验不需要严格假设条件，因而比参数检验有更广泛的适用面。

Ø非参数检验几乎可以处理包括定类数据和定序数据在内的所有类型的数据，而参数检验通常只能用于定量数据的分析Ø在参数检验和非参数检验都可以使用的情况下，非参数检验的功效（power）要低于参数检验方法以下情况下应当首选非参数方法以下情况下应当首选非参数方法Ø参数检验中的假设条件不满足，从而无法应用例如总体分布为偏态或分布形式未知，且样本为小样本时Ø检验中涉及的数据为定类或定序数据Ø所涉及的问题中并不包含参数，如判断某样本是否来自正态分布等，判断某样本是否为随机样本常用的非参数检验方法常用的非参数检验方法l用于单个样本的c2拟合优度检验、K-S拟合优度检验、中位数的符号检验l用于两个匹配样本的Wilcoxon符号秩检验l用于两个独立样本的Wlicoxon秩和检验l用于多个独立样本的Kruskal-Wallis检验第六章第六章 非参数检验非参数检验l非参数检验概述Ø非参数检验、特点及应用l单样本的非参数检验l两个样本和多个样本的非参数检验单样本的非参数检验单样本的非参数检验lc2拟合优度检验lK-S拟合优度检验l中位数的符号检验分类数据检验分布对中位数的推断lc2统计量Ø用来测定定类变量之间的相关程度Øc2统计量的分布与自由度有关； Øc2统计量描述了观察值与期望值的接近程度l拟合优度检验（goodness of fit test）Ø用c2统计量进行统计显著性检验的重要内容之一；Ø依据总体分布状况，计算出分类变量中各类别的期望频数，与分布的观察频数进行对比，判断期望频数与观察频数是否有显著差异，从而达到对分类变量进行分析的目的。

l1912年4月15日，豪华巨轮泰坦尼克号与冰山相撞沉没当时船上共有2208人，其中男性1738人，女性470人l海难发生后，幸存者共718人，其中男性374人，女性344人，以显著性水平为0.1检验存活状况与性别是否有关？l提出零假设和备择假设ØH0：观察频数与期望频数一致ØH1：观察频数与期望频数不一致l计算期望频数 Ø男性的期望频数 ，女性为153人l计量c2统计量l查表 （自由度为类别数-1）l做出判断：决绝原假设，认为存活状况与性别显著相关l一种饮料的容器材料可以选择玻璃、塑料或者金属l为了比较消费者对包装材料的偏好，抽样调查了120名消费者发现，最喜欢玻璃、塑料和金属容器的分别有55、25和40人l根据调查结果，能否认为消费者对3种材料的偏好程度是无差异的（显著性水平a=0.05）？ 分析分析l如果消费者对3种材料的偏好程度是无差异的，也就是说消费者对材料的偏好服从均匀分布，则理论上来说，调查120名消费者，偏好每种材料的人数应该是相等的，也就是40人l各组观测到的人数与理论人数（期望值）之间的差异应该都是由于抽样的随机性造成的，因此不应该太大。

l如果二者之间的差异特别大，则说明我们所作的假设（消费者对3种材料的偏好程度是无差异的）很可能不成立 l检验统计量Øk是样本分类的个数，表示实际观察到的频数，表示理论频数观察频数与期望频数越接近，则c2值越小根据皮尔逊定理，当n充分大时， c2统计量渐近服从于k-1个自由度的c2分布 软件操作：数据录入软件操作：数据录入软件操作：方法设定软件操作：方法设定l选择“分析”“非参数检验”“卡方”，在弹出的对话框中将“材料”设定为检验变量；单击对话框中的“精确…”，选中弹出对话框中的“精确”，单击“继续”、“确定” 软件操作：结果分析（软件操作：结果分析（1））观察数观察数 期望数期望数残差残差1.005540.015.02.002540.0-15.03.004040.0.0总数总数120软件操作：结果分析（软件操作：结果分析（2））材料卡方11.250df2渐近显著性.004精确显著性.003点概率.000结果分析（结果分析（3））l结论：计算出的c2统计量的值为11.250，自由度为2，相应的p值（渐近显著性）为0.004，小于a=0.05所以检验的结论是拒绝总体中消费者对3种材料的偏好程度无差异的零假设。

特别说明特别说明l大样本、每个单元中的期望频数大于等于5时可以使用c2分布 l小样本时应该按照精确方法计算得到的p值得出结论lc2检验也可以按照同样的思想对正态分布或者任何想象的其他分布进行检验，但主要用于对定性变量的检验另外，c2检验也可以用于对两个总体分布的比较单样本的非参数检验单样本的非参数检验lc2拟合优度检验Ø对定类变量用c2统计量进行统计显著性检验lK-S拟合优度检验l中位数的符号检验检验分布l单样本K-S检验Ø检验总体分布是否为理论分布（正态、Possion、均匀、指数）Ø是以两位苏联数学家Kolmogorov 和 Smirnov 命名的，全称为Kolmogorov- Smirnov检验Ø通过对两个分布差异的分析确定能否认为样本的观察值来自所设定的理论分布总体l定义 ，显然若对每一个x值来说，如果经验分布函数与特定分布函数的拟合程度很高，则有理由认为样本数据来自具有该理论分布的总体l检验统计量：l根据检验统计量的精确分布或渐进分布，可以计算出假设检验的p值，从而得出检验的结论lSPSS K-S检验中检验统计量Z的计算lSPSS K-S检验中p值的计算l有100名儿童每周看电视时间的数据（数据文件：电视时间.sav）。

检验能否认为总体中儿童每周看电视的时间服从正态分布（显著性水平a=0.05）l这里K-S检验的零假设和备择假设为：ØH0：总体中儿童每周看电视的时间服从正态分布ØH1：总体中儿童每周看电视的时间不服从正态分布l在SPSS软件中打开数据文件，选择“分析”  “非参数检验”“1样本K-S”，在弹出的对话框中将“时间”设定为检验变量；检验分布为默认的“常规”（正态分布）单击 “确定”时间N100正态参数a,,b均值27.191标准差8.3728最极端差别绝对值.096正.096负-.039Kolmogorov-Smirnov Z.960渐近显著性(双侧).315l检验结论Ø相应的p值（渐近显著性）为0.315由于0.315大于0.05，所以在5%的显著性水平下不能拒绝原假设，也就是说根据样本数据不能认为总体分布是非正态的Ø注意这里并不能得出总体服从正态分布的严格结论总体服从正态分布的结论可能犯第二类错误（取伪错误），这个概率是未知的，在有些情况下可能会很大l特别声明Ø在K-S检验中如果使用的是小样本，则根据渐进分布计算p值的误差会增大这时应该通过相应的设定要求软件输出精确检验的p值，根据精确检验的p值得出检验结论。

ØK-S检验也可以用于对两个总体分布是否一致的检验单样本的非参数检验单样本的非参数检验lc2拟合优度检验Ø对定类变量用c2统计量进行统计显著性检验lK-S拟合优度检验Ø检验总体分布形态l中位数的符号检验对中位数的推断l单样本中位数的检验Ø秩Ø符号检验ØWilcoxon符号秩检验l秩（rank）Ø是指全部观察值按某种顺序排列的位序；Ø通常是将数据按照升幂排列之后，每个观测值的位置，秩次在一定程度上反映了等级的高低Ø下面一行Ri就是上面一行数据Xi的秩l数据中有相同的数值，称为结结中数字的秩为它们所占位置的平均值Xi159173178513719Ri758.518.5426310A组： －－ 、、 、、+、、+、、+、、+、、++、、++、、++、、++、、+++、、+++ - ± + + + + ++ ++ ++ ++ +++ +++ 1 2 3 4 5 6 7 8 9 10 11 12 1 2 4.5 4.5 4.5 4.5 8.5 8.5 8.5 8.5 11.5 11.5平均秩次平均秩次=（（3+6)/2=4.5l利用秩的大小进行推断就避免了不知道背景分布的困难。

这也是非参数检验的优点l多数非参数检验明显地或隐含地利用了秩的性质；但也有一些非参数方法没有涉及秩的性质l符号检验（sign test）Ø在非正态总体小样本的情况下，如果要对总体分布的位置进行推断，由于t检验不适用，也可使用符号检验的方法Ø在数据呈偏态分布的情况下，我们可能对总体的中位数更感兴趣，希望对总体的中位数作出推断，这时可以使用符号检验的方法l例6.3 在某地区随机调查了60个家庭的月收入 （数据文件：家庭月收入.sav）根据样本数据能否认为总体中家庭月收入的中位数等于5000元（显著性水平a=0.05）？l符号检验的基本思想：Ø每个数据都减去零假设中的中位数，记录其差值的符号Ø计算正、负符号的个数（差值为0的不计算在任何一个中）Ø当原假设为真时二者应该很接近；若两者相差太远，就有理由拒绝原假设l检验统计量Ø原假设成立时，检验统计量S服从二项分布Ø根据二项分布计算得到p值，从而得出检验的结论Ø当正号和负号个数之和大于25时，可以按照正态分布进行近似计算l例6.3 在某地区随机调查了60个家庭的月收入 （数据文件：家庭月收入.sav）根据样本数据能否认为总体中家庭月收入的中位数等于5000元（显著性水平a=0.05）？l在SPSS中打开数据文件。

为了对中位数进行检验，先在SPSS中生成一个新的变量Median，取值为5000：单击“转换”“计算变量”，在弹出的对话框中按照图6-3进行设置，单击确定l选择“分析”“非参数检验”“2个相关样本”，在弹出的对话框中将“Median”和“家庭月收入”设定检验的一对变量；选中“符号检验”，取消选择“Wilcoxon”，单击 “确定” l用正态分布进行近似计算时，Z统计量的值为-0.129，双侧检验的p值为0.897由于p值大于0.05，检验的结论是不能拒绝原假设，即没有充分证据证明中位数不等于5000l特别声明Ø如果样本量较小，则需要使用软件输出的精确检验的p值进行推断Ø在小样本时，如果要求进行精确检验，SPSS会自动按照二项分布进行概率计算 lWilcoxon符号秩检验Ø符号检验只用到差值的符号，而对差值数值的大小未能考虑，因而失去了部分信息ØWilcoxon符号秩检验既考虑差值的符号，又考虑差值的大小，因此在所需的假设条件满足时其功效比符号检验高lWilcoxon符号秩检验Ø计算差值绝对值的秩 Ø将差值绝对值从小到大排序，其位次就是的秩（rank），等于0值不参与排序。

Ø分别计算出差值序列中正数的秩和W+以及负数的秩和W- Ø显然，如果零假设成立，W+与W-应该比较接近如果二者过大或过小，则说明零假设不成立 Ø将正数的秩和或者负数的秩作为检验统计量，根据其统计分布计算p值，从而可以得出检验的结论 前提假设：样本点来自连续对称总体分布lWilcoxon符号秩检验Ø计算 ，将其按照大小排序，得到 的秩；Ø把 的正负号加到相应的秩上；Ø计算Ø计算检验统计量Ø做出判断，W太小时，决绝零假设第六章第六章 非参数检验非参数检验l非参数检验概述Ø非参数检验、特点及应用l单样本的非参数检验Øc2拟合优度检验、K-S检验、中位数的符号检验及Wilcoxon符号秩检验l两个样本和多个样本的非参数检验l两个样本和多个样本的非参数检验Ø两个匹配样本的Wilcoxon符号秩检验Ø两个独立样本的Wlicoxon秩和检验Ø多个独立样本的Kruskal-Wallis检验 l匹配样本的非参数检验Ø如果t检验的假设条件不满足，t检验就不适用了符号检验和Wilcoxon符号秩检验都可以用做替代的检验方法。

Ø用样本数据中对应的数值相减得到新的序列 ：ü零假设：差值总体的中位数=0；ü备择假设：差值总体的中位数≠0l例6.4 从实施适时管理（JIT）的企业中随机抽取10家进行效益分析，得到它们在实施JIT前后三年的平均资产报酬率（数据文件： JIT管理.sav）在5％的显著性水平下企业在实施JIT前后的资产报酬率是否有显著差异？ l在SPSS软件中打开数据文件，选择“分析”“非参数检验”“2个相关样本”，在弹出的对话框中将“JIT后”和“JIT前”设定检验的一对变量；选中“Wilcoxon”和“符号检验”由于这里样本量很小，我们要求进行精确检验：单击对话框中的“精确…”，选中弹出对话框中的“精确”，单击“继续”、“确定” l符号检验结果（1）NJIT前 - JIT后 负差分a7正差分b3结c0总数10l符号检验结果（2）l结论：不能拒绝零假设 ，没有证据表明小于企业在实施JIT前后的资产报酬率有显著变化 JIT前 - JIT后精确显著性（双侧）.344a精确显著性（单侧）.172点概率.117lWilcoxon符号秩检验结果（1）N秩均值秩和JIT前 - JIT后负秩7a4.3630.50正秩3b8.1724.50结0c总数10lWilcoxon符号秩检验结果（2）JIT前 - JIT后Z-.307a渐近显著性(双侧).759精确显著性（双侧）.787精确显著性（单侧）.394点概率.020l两个独立样本的Wlicoxon秩和检验Ø在两个独立样本的t检验不适用时，Wlicoxon秩和检验可以作为一种替代的非参数检验方法使用。

Ø这一检验可以用来对两个总体的中位数进行检验l基本原理Ø如果两个总体具有相似的分布形状，并且中位数相同，那么由m个x、n个y组成的m十n＝N个观察值可以被看作来自同一总体的一个随机样本Ø将全部x和y从小到大排序确定每个数值的秩，然后计算m个x的秩的和W x 、n个y的秩的和W y Ø由于抽样的随机性，x、y应较均匀地分布在混合排列的样本中Ø如果零假设成立，在样本量相同的情况下两个秩和应该比较接近；样本量不同的情况下平均秩和的平均秩应该比较接近否则就说明两个总体的中位数是不相等的 l由于对称性，两个秩和W x、 W y都可以用作Wilcoxon秩和检验的检验统计量lSPSS软件中使用的是平均秩较小的一组的秩和l统计量W的统计分布可以精确推导出来l在样本量较大时（m和n都不小于10）可以用正态分布来进行近似l得到p值之后，再通过比较p值和a的大小得出结论 l相关说明Ø由于Wilcoxon秩和检验与Mann和Whitney提出的U检验完全等价，因此这种方法也被称为Wlicoxon-Mann-Whitney检验，或者Mann-Whitney U检验Ø在样本量较小时，应当使用精确检验的结果Ø严格来说用Wilcoxon秩和检验对中位数进行假设检验，需要假定两个总体分布有类似的形状才能得出可靠的结论。

l例6.5 已知某企业职工的收入调查中20名本科毕业生和15名研究生的月收入（元） （数据文件：本科研究生收入.sav） ，试比较本科生和研究生的收入水平（显著性水平a=0.05）l分析Ø由于收入一般是右偏分布，因此不适合用t检验进行分析我们用Wilcoxon秩和检验来比较两个总体的中位数Ø检验的零假设和备择假设如下：üH0：本科和研究生月收入的中位数相等；üH1：本科和研究生月收入的中位数不相等l在SPSS软件中打开数据文件，选择“分析”“非参数检验”“2个独立样本”，在弹出的对话框中将“月收入”设定为检验变量，“学历”设定为分组变量，然后单击“定义组”，按照“学历”的取值进行设定，然后单击“继续”，检验类型使用默认“Mann-Whitney U”，单击 “确定” l结果分析：学历N秩均值秩和月收入本科2013.55271.00研究生1523.93359.00总数35l根据精确检验的p值，在显著性水平大于0.002时我们应该拒绝原假设，结论是本科与研究生的收入的中位数不相等月收入Mann-Whitney U61.000Wilcoxon W271.000Z-2.967渐近显著性(双侧).003精确显著性[2*（单侧显著性）].002al多个独立样本的Kruskal-Wallis检验ØKruskal-Wallis检验是Wlicoxon秩和检验的推广，用来对多个总体的中位数进行比较。

Ø在单因素方差分析模型不适用于所研究的问题时，Kruskal-Wallis往往是一种可以替代的非参数检验方法l基本原理ØKruskal-Wallis检验也是根据秩和来构造检验统计量的将所有样本的数据合在一起，从小到大排序得到每个数值的秩，然后计算各样本的秩和以及平均秩Ø如果各组没有显著性差异，则各组的平均秩应该趋于相等；如果各组的平均秩相差较大，则各组中位数有显著性差异的可能性较大 l检验统计量l基本原理：Ø当样本组数k，每组样本样本容量ni不是很小时，检验统计量H的抽样分布近似服从自由度为k-1的c2分布Ø在k=3，n≤5时，用c2分布近似的误差较大，应该使用精确检验方法Ø如果p值小于显著性水平a，则拒绝零假设，说明k个总体中位数之间存在显著差异l例5.1用单因素方差分析的方法对4个专业的平均起薪进行了比较分析（数据文件起薪1.xls）由于不确定总体是否服从正态分布，请使用Kruskal-Wallis检验比较四个专业毕业生的起薪是否有显著差异ØH0: 四个专业起薪的中位数都相等；ØH1: 四个专业起薪的中位数不全相等l在SPSS软件中打开数据文件，选择“分析”“非参数检验”“k个独立样本”，在弹出的对话框中将“起薪”设定为检验变量，“专业”设定为分组变量，然后单击“定义组”，按照“专业”的取值进行设定，然后单击“继续”，检验类型使用默认“Kruskal-Wallis H”，单击 “确定” l结果分析（1）专业N秩均值起薪1617.502617.25369.42465.83总数24l结论：p值为0.006。

由于p值很小，所以有理由拒绝原假设，即认为这四个专业起薪的中位数不全相等 起薪卡方12.316df3渐近显著性.006l特别说明Ø在样本量较小时，应当使用精确检验的结果，根据c2分布进行近似会有较大的误差Ø严格来说用Kruskal-Wallis检验对多个总体的中位数进行假设检验，需要假设多个总体分布有类似的形状才能得出可靠的结论 第六章第六章 非参数检验非参数检验l非参数检验概述Ø非参数检验、特点及应用l单样本的非参数检验Øc2拟合优度检验、K-S检验、中位数的符号检验及Wilcoxon符号秩检验l两个样本和多个样本的非参数检验Ø匹配样本的Wilcoxon符号秩检验、两个独立样本的Wilcoxon秩和检验，多个独立样本的Kruskal-Wallis检验小结小结l非参数检验是与总体分布无关的检验，检验中不需要对总体分布的具体形式作出严格假设，或者只需要很弱的假设lc2检验和K-S检验都可以帮助我们检验能否认为样本数据来自某种概率分布前者一般用于定性数据，后者用于定量数据l符号检验和Wilcoxon符号秩检验都可以用于单样本中位数检验和两个匹配样本的检验，与正态分布时单样本的t检验和匹配样本的t检验相对应。

小结小结lWlicoxon秩和检验可以用来检验两个独立样本的中位数的差异，与正态分布时独立样本的t检验相对应lKruskal-Wallis检验是与单因素方差分析相对应的非参数检验方法，可以用来检验多个总体中位数的差异l小样本时，按照渐进方法的计算结果误差会比较大这时应该使用精确检验的方法计算p值l在一些非参数检验中需要有一些关于总体分布的假设，如连续对称分布等，在使用中要注意判断。