数据分析(第二版) 教学课件 ppt 作者 范金城 梅长林 第2章 非参数秩方法
第2章 非参数秩方法,不假定总体分布的具体形式,尽量从数据本身来获得所需要的信息的统计方法称非参数方法.由于对总体分布所加条件较少,因而有较广泛的适用性与稳健性. 一组数据的最基本的信息就是它们的大小次序,基于数据的大小排列次序进行统计推断的方法称之为非参数秩方法.本章介绍两种及多种处理方法比较的一些常用的非参数秩方法. 2.1 两种处理方法比较的秩检验 2.1.1 两种处理方法比较的随机化模型及秩的零分布 1.两种处理方法比较的随机化模型及观测值的秩 设 某问题有两种不同处理方法,设有N个个体,随机选取 个个体用一种处理方法试验,其余 m个 接受另一种处理方法试验,此称为两种处理方法比较的随机化模型.,取 个取法总数为 .出现每种分配方式的概率为 , 零假设 ：两方法处理效果无显著差异. 要检验零假设是否被接受 个处理效果进行排序,若第 个个体排在第 个位置上,则称 为第 个个体的秩,一种方法称新方法,另一种方法称对照方法,设分配到新方法的个个体的秩为 分配到对照方法的 个个体的秩为 ， 有 例 5个个体 ,新方法 ,对照 。效果从差到好排序 ,则 观测值 观测值 . 以 为基础构造适当的统计量检验假设 ,称为两种处理方法比较的秩检验.,2. 的零分布 为真时,每种可能都对应于 的一组取值. 的零分布.为 其中 为真时的概率. 2.1.2 Wilcoxon 秩和检验 备择假设 H1 : 新方法优于对照方法 假定按处理效果由差到好排序 新方法: 对照方法 统计量: Wilcoxon 秩和检验 显著水平 ,选择 ,使 则当 时,拒绝 ,即认为新方法比对照方法显著有效.,H0下 , Ws 是取值于 与 之间的取正整数的随机变量 例2.1 对 .求 的零分布 解. 及对应的 值 的零分布 给定 ,则使 一般地, 随机分为两组,各有 个数. 表示值的所有分法数目, 则 : 取 至 向所有整数.,检验的 值方法 由观测结果计算 的观测值 ,计算 值 显著水平 若 ,拒绝 若 ,接受 2.双边假设检验 :两方法有显差异 两种方法 A, B 秩和 给定显著水平 . 取 满足 拒绝域 或 或 选择 ,使 则取,检验的 值方法 观测值 ,计算 或 值为上述两概率中小于者说 的那个的2倍,如 则 显著水平 若 ,拒绝 若 ,接受 例2.3 13个同类型电池,A组加A添加剂,B组加B添加剂,各组电池寿命(单位: ) A: 18 24 25 27 30 35 B: 20 21 28 32 34 38 40 取 ,检验两种添加剂下寿命有无显著差异 解. 由PROC NPAR1WAY过程,算得 故接受 ,认为两种添加剂下电池寿命无显著差异.,3.Wilcoxon 统计量的渐近零分布 定理 为真时, 充分大 例 2.4 (续例2.3) 利用正态逼近求 解 4.结点的处理 没有 个个体形成一个结点,排序为 中间秩为 .,新方法 秩和 对照 秩和 定理 设 个个体的处理效果观测值中互不相同的有 个; 其中等于 有 个 当 为真时, 充分大 例2.5 为比较新疗法与原疗法效果,40名患者分为两组,新疗法与原疗法各20人,疗效等级分为五等,人数如下: 能否认为新方法疗效显著优于原疗法 ?,解 各等级患者的秩: 差: 较差: 一般: 较好: 好: 由 PROC IML过程,算得 故拒绝 ,即认为新方法疗效显著优于原方法.,2.1.4 Smirnov 检验 两种处理方法A与B的各个体的处理效果度量值为: 检验分布函数 :两种处理方法效果无显著差异 :两种方法效果有显著差异. 检验统计量 将 与 合在一起,得 ,则 (1)当 可能值: 可求 值 分子最后一项 满足 且,均较大,则 例 2.6 比较两种止痛药效果,8人服A种止痛药,另8人服B种止痛药,测得止痛 时间(单位,小时)如下 A: 6.8 3.1 5.8 4.5 3.3 4.7 4.2 4.9 B: 4.4 2.5 2.8 2.1 6.6 0.0 4.8 2.3 取 , 检验止痛效果有无显著差异. 解 可求得: 各组观测值的秩为: A: 6 7 8 10 11 13 14 16 B: 1 2 3 4 5 9 12 15 故 的观测值 , 此处 对 , 接受 , 认为两种止痛药效果无显著差异.,若用渐近方法, 得 用PROC NPAR1WAY 过程,算得同样结果; Kolmogorov-Smirnov Tow-Sample Test D=max 0.625 0 Asfymptotic pr D 0.087 9 Exact pr D 0.087 0 2.2 成对分组设计下两种处理方法的比较 2.2.1 符号检验 对个体;每一对任取一个接受新方法试验,另一个接受对照方法试验. :两方法的处理效果无显著差异 第 i 对新方法处理效果优于对照方法 否则 ; 即新方法处理效果优于对照方法总数,符号检验 值方法 设 观测值 显著水平 若 ,拒绝 . 若 ,接受 . 注:双边检验, 值为 大时, 例 2.7 将18份样品均一分为二,送甲、乙两人测定其中某成分的含量,得:,由以往记录知,甲的测量值易于偏大,用符号检验是否可接受此断言 解 表示甲的测量值大于2的组数,观测值 :甲的测量值显著偏大. 检验 值为 由于 ,拒绝 .认为甲的测量值明显偏大. 注: 若为双边检验,取 :两人测量值有显著差异 则 双边检验的 值为 对 ,接受 . 用PROC UNIVARIATE 过程,对变量 ( 各为甲,乙测量值),算得符号检验的双边检验的 值为0.096 3.对 仍接受 .,2.2.2 Wilcoxon 符号秩检验 对个体,每一对随机指定一个接受新方法试验,另一个接受对照方法试验.设 对效果度量值之差的绝对值互不相同(无结点),设 新方法与对照方法效果度量值之差为正的配对数 度量值之差为负的配对数. 个差值绝对值由小到大排序,给每个差值绝对值赋秩,并对其秩根据概括原差值的正、负分别赋予正、负号,称为符号秩. 差值符号为正的秩, 差值符号为负的秩. :新方法使个体效果度量值有显著增加 检验统计量,其中 表示正号秩之和为 的个数. Wilcoxcn符号秩 值检验.设 的观测值为 对显著水平 , 若 ,拒绝 . 若 ,接受 . 例 2.8 农场选了10块地,每块分为两部分,指定一部分使用新复合肥,另一部分使用原肥料,小麦产量如下: 用Wilcoxon符号秩检验法检验新复合肥是否显著提高小麦产量 . 解. 由PROC UNIVARIATE 过程,对变量 进行计算,算得 值: =0.0244, 因 =0.0244 ; 因 ,拒绝 .,2.3. 多种处理方法比较Kruskal-Wallis检验 2.3.1 多种处理方法比较中秩的定义及Kruskal-Wallis统计量 个个体用 种处理方法, 个个体随机分为 组,第 组有 个,接受第 种处理方法试验 , 个个体放在一起根据处理效果的优劣排序得各个体的秩,设第 个个体秩为 无结点. :各处理方法效果无显著差异 第 组个体秩平均值 秩总平均 Kruskal-Wallis统计量,Kruskal-Wallis 检验的 值方法 设 统计量的观测值是 . 值为 显著水平 当 ,拒绝 . 当 ,接受 . 若令 则 此式计算较方便 2.3.2 Kruskal-Wallis 统计量的零分布 当 为真时,可证 其中,定理. 当 的零分布趋于自由度为 的 分布 设自由度为 的 的随机变量为 . 设 的实际观测值为 ,则 值 例 2.10 比较四种不同食谱的营养效果,将25只老鼠分为4组,每组分别为8只、4只、7只和6只.各用食谱a、b、c、d喂养,12周后测得体重增加量(单位:): 对于 ,检验各食谱营养效果是否有显著差异.,解 用PROC NPAR1WAY 过程，算得如下结果： Wilcoxon Scores (Rank Sums) for Variable x Classified by Variable gtoup Sum of Expected std Dev Mean group N Scores Under H0 Under H0 Score a 8 88.0 104.0 17.165 858 11.000 000 b 4 33.0 52.0 13.490 738 8.250 000 c 7 116.0 91.0 16.522 712 16.571 429 d 6 88.0 78.0 15.716 234 14.666 667 Kruskal-Wallis Test Chi-Square 4.213 0 DF 3 PrChi-Square 0.239 4 即 因 ,接受 . 认4种食谱营养效果无显著差异.,Kruskal-Wall
