PCR检测方法分析性能评价.3.ppt

PCRPCR检测系统分析性能验证检测系统分析性能验证 上海市临床检验中心上海市临床检验中心 肖艳群肖艳群1 相关规定•医学实验室质量和能力认可准则在基因扩增检验领域医学实验室质量和能力认可准则在基因扩增检验领域的指南的指南CNAS-GL xx 5.5.2)CNAS-GL xx 5.5.2) 实验室应在应用于医学检验之前验证所使用的检验方实验室应在应用于医学检验之前验证所使用的检验方法和程序的分析性能法和程序的分析性能. .对于定量检测项目内容至少包括对于定量检测项目内容至少包括正确度正确度、、精密度精密度、、可报告可报告( (或线性或线性) )范围范围. .对于定性检测对于定性检测项目内容应包括灵敏度项目内容应包括灵敏度、、特异性或符合率及重复性特异性或符合率及重复性•上海市医疗机构临床基因扩增检验技术审核办法上海市医疗机构临床基因扩增检验技术审核办法 临床基因扩增检验实验室在技术审核前应完成拟开展临床基因扩增检验实验室在技术审核前应完成拟开展检测项目方法学验证。

方法学验证实验应包括但不限检测项目方法学验证方法学验证实验应包括但不限于：精密度、正确度、检测限、线性范围、可报告范于：精密度、正确度、检测限、线性范围、可报告范围、特异性试验围、特异性试验2 什么情况下要做性能验证•开展新项目开展新项目•更换检测系统更换检测系统: :更换仪器或试剂更换仪器或试剂3 分析性能验证项目分析性能验证项目•对配套系统对配套系统, ,一般验证以下指标一般验证以下指标 精密度精密度 准确度准确度 可报告范围可报告范围 参考区间参考区间•对非配套系统除验证上述指标外对非配套系统除验证上述指标外 分析灵敏度分析灵敏度 分析特异性分析特异性4 依据文件(CLSI 文件)•EP5-A2:EP5-A2:定量测量方法的精密度性能评价定量测量方法的精密度性能评价•EP6-A:EP6-A:定量测量方法的线性评价定量测量方法的线性评价•EP7-A:EP7-A:临床化学的干扰实验临床化学的干扰实验•EP9-A2:EP9-A2:用患者样本进行方法学比对及偏倚评估用患者样本进行方法学比对及偏倚评估•EP12-A2:EP12-A2:定性实验方法评价用户协议定性实验方法评价用户协议•EP15-A2: EP15-A2: 用户对精密度和准确度核实试验用户对精密度和准确度核实试验•EP17-A: EP17-A: 检出限和定量检出限确定方案检出限和定量检出限确定方案•C28-A2: C28-A2: 医学实验室参考区间的定义和确定医学实验室参考区间的定义和确定5 性能验证前的准备•应熟悉待验证的检测系统应熟悉待验证的检测系统•应熟悉验证方案的步骤应熟悉验证方案的步骤(PCR检测项目成本高检测项目成本高、、阳性标阳性标本来源困难本来源困难,精密度和正确度验证可以采用精密度和正确度验证可以采用EP15-A2 文文件件)•制定质量保证措施制定质量保证措施•确保足够的样本数量和覆盖较宽检测范围确保足够的样本数量和覆盖较宽检测范围•确定比较方法确定比较方法6 EP15-A2:精密度和准确度性能的用户验证•实验室验证方法的操作与厂家的申明一致实验室验证方法的操作与厂家的申明一致•为验证重复性、实验室内精密度的申明提供方案和数为验证重复性、实验室内精密度的申明提供方案和数据分析据分析•其他的其他的 CLSI CLSI 文件为厂家做出精密度文件为厂家做出精密度(EP5-A2)(EP5-A2)和准确和准确度度(EP9-A2)(EP9-A2)的申明提供指南的申明提供指南7 精密度验证精密度验证•重复性重复性: :指在相同条件指在相同条件 ( (时间、操作者、仪器时间、操作者、仪器) )下获得下获得的精密度的精密度, ,也称批内精密度也称批内精密度•实验室内精密度实验室内精密度: :同一实验室内，使用相同的设备同一实验室内，使用相同的设备, , 在在不同时间内获得的精密度不同时间内获得的精密度, ,也称总精密度也称总精密度.(.(不包括大的不包括大的设备维护、仪器校准和更换试剂批号等设备维护、仪器校准和更换试剂批号等) )8 实验要求•试剂试剂: :同一批号同一批号•实验样本实验样本 以前分析过的病人样本以前分析过的病人样本 其他已知值的物质其他已知值的物质 浓度要求浓度要求: : 医学决定水平医学决定水平 厂家说明书精密度指标所用浓度厂家说明书精密度指标所用浓度 内容内容 重复性重复性 实验室内精密度实验室内精密度9 实验步骤•根据厂家申明的精密度比例关系可分为根据厂家申明的精密度比例关系可分为3 3种情况种情况: : 1) 1)如果如果σσ批内批内<2/3 <2/3 σσ总总: :每天分析每天分析1 1批次批次,2,2个浓度个浓度, ,每个每个 浓度重复测定浓度重复测定4 4次次, ,连续连续5 5天天. . 2)2)如果如果σσ批内批内>2/3 >2/3 σσ总总: :每天分析每天分析1 1批次批次,2,2个浓度个浓度, ,每个每个浓度重复测定浓度重复测定3 3次次, ,连续连续3 3天天. . 3)3)如果如果σσ批内批内与与 σσ总总相对关系未知相对关系未知: :每天分析每天分析1 1批次批次,2,2个个浓度浓度, ,每个浓度重复测定每个浓度重复测定4 4次次, ,连续连续5 5天天. . •每天做室内质控每天做室内质控, ,如果失控如果失控, ,剔除数据剔除数据, ,重新进行测定重新进行测定•实验数据的统计学处理实验数据的统计学处理: :批内标准差、实验室内标准差批内标准差、实验室内标准差10 结果判断•重复性验证重复性验证: :•批内标准差批内标准差< <厂家申明厂家申明, ,验证通过验证通过•批内标准差批内标准差> >厂家申明厂家申明, ,则通过计算验证值进行则通过计算验证值进行差异的显著性检验差异的显著性检验, , 批内标准差批内标准差< <验证值验验证值验证通过证通过•实验室内精密度验证实验室内精密度验证: :•实验室内标准差实验室内标准差< <厂家申厂家申明明, ,验证通过验证通过•实验室内标准差实验室内标准差> >厂家申厂家申明明, ,则通过计算验证值进则通过计算验证值进行差异的显著性检验行差异的显著性检验, , 实验室内标准差实验室内标准差< <验证验证值值, ,验证通过验证通过 11 准确度与正确度、精密度的关系准确度准确度准确度准确度正确度正确度正确度正确度均值与真值的接近程度均值与真值的接近程度均值与真值的接近程度均值与真值的接近程度系统误差系统误差系统误差系统误差偏倚偏倚偏倚偏倚(bias)(bias)(bias)(bias)精密度精密度精密度精密度重复测量结果之间的接近程度重复测量结果之间的接近程度重复测量结果之间的接近程度重复测量结果之间的接近程度随机误差随机误差随机误差随机误差标准差标准差标准差标准差(SD)(SD)(SD)(SD)12 正确度验证正确度验证•比对方法比对方法: :用临床病人样本进行方法学比对用临床病人样本进行方法学比对, ,类似类似EP9- EP9- A2A2文件文件•参考物质参考物质 13 两种方法间病人标本结果的比较•实验设计实验设计: : 1)1)收集收集2020份病人样本份病人样本, ,其浓度分布整个线性范围其浓度分布整个线性范围, ,不使不使 用超出线性范围的标本用超出线性范围的标本 2)2)在在3-43-4天时间内天时间内, ,每天用实验和比对方法测定每天用实验和比对方法测定5-75-7份样份样本本 3)3)每天做室内质控每天做室内质控, ,如果失控如果失控, ,剔除剔除, ,问题纠正后重新测问题纠正后重新测定该批标本定该批标本 14 实验数据处理 •计算每个标本两种方法间结果的差异计算每个标本两种方法间结果的差异 偏倚偏倚bibi= =实验方法结果实验方法结果i i- -比较方法结果比较方法结果i i 偏倚偏倚%=100%(%=100%(实验方法结果实验方法结果i i- -比较方法结果比较方法结果i i)/)/比较方法结果比较方法结果I I•画出每个标本两种方法结果的偏倚或百分比偏倚图画出每个标本两种方法结果的偏倚或百分比偏倚图, ,比较两种方法比较两种方法间在检测的浓度范围内标本结果差异是否一致间在检测的浓度范围内标本结果差异是否一致•计算两种方法间的平均偏倚计算两种方法间的平均偏倚•计算偏倚或百分比偏倚的标准差计算偏倚或百分比偏倚的标准差 15 结果判断•如果偏倚如果偏倚< <厂家指标厂家指标( (实验室指标实验室指标),),验证通过验证通过•如果偏倚如果偏倚> >厂家指标厂家指标( (实验室指标实验室指标),),则通过计算验证值则通过计算验证值进行差异的显著性检验进行差异的显著性检验, , 在验证限范围内在验证限范围内, ,验证通过验证通过 16•选择厂家申明中使用的比较方法为本方案的比较方法选择厂家申明中使用的比较方法为本方案的比较方法•如如两种方法在检测的浓度范围内标本结果差异不一致两种方法在检测的浓度范围内标本结果差异不一致, ,应参考应参考EP9-A2EP9-A2文件文件( (用病人标本进行方法学比对和偏倚用病人标本进行方法学比对和偏倚评估评估) )来进行实验来进行实验17 使用参考物质的正确度方案•参考物质参考物质 1) 1)新鲜冰冻人血清或其他一些未掺入成分的人体物质新鲜冰冻人血清或其他一些未掺入成分的人体物质: : 已用参考方法或决定性方法定值已用参考方法或决定性方法定值 2)2)从能力比对实验中获得的参考物从能力比对实验中获得的参考物 3)3)厂家提供的正确度确认物或质控物厂家提供的正确度确认物或质控物 4)4)实验室室间质评物被众多的实验室分析实验室室间质评物被众多的实验室分析, ,他们的均值他们的均值可用于评估一致性可用于评估一致性 5)5)由第三方提供的已用一些不同方法定值的物质由第三方提供的已用一些不同方法定值的物质18 实验步骤•至少至少2 2个物质个物质, ,浓度为可报告范围中高和低的测量范围浓度为可报告范围中高和低的测量范围•在在3-53-5天内每天测定一次天内每天测定一次, ,每次重复每次重复2 2次次•将结果与设定要求进行比较将结果与设定要求进行比较, ,比如与能力比对实验组织比如与能力比对实验组织者的接受标准或医学允许总误差来比较者的接受标准或医学允许总误差来比较19定量检出限的验证(EP17-A)20 概念•能可靠检出分析物的最低实际浓度能可靠检出分析物的最低实际浓度, ,并在该浓度下的总并在该浓度下的总误差符合准确度要求误差符合准确度要求•总误差目标来源总误差目标来源: :实验室的需求、室间质评结果、厂家实验室的需求、室间质评结果、厂家的申明的申明21 实验样本•低浓度参考物质低浓度参考物质•已知浓度或活性的样品适当稀释成已知浓度或活性的样品适当稀释成3-5个低浓度实验样个低浓度实验样品品22 实验步骤•至少至少2525个重复测量个重复测量•每个样品重复测量的结果与该样品的参考值比较每个样品重复测量的结果与该样品的参考值比较, ,以确以确定是否超出目标误差定是否超出目标误差, ,超过误差目标的结果数量可用于超过误差目标的结果数量可用于评价此方法在该浓度是否合适评价此方法在该浓度是否合适. .2320-1000个检测值符合超出LoB预期95%比例的下限 检测数检测数 观察比例的下限观察比例的下限(%)(%)检测数检测数 观察比例的下限观察比例的下限(%(%））20 8520 8530 8730 8740 8840 8850 8850 8860 8860 8870 8970 8980 8980 8990 90 9090100 90 100 90 150 91150 91200 92200 92250 92250 92300 92300 92400 93400 93500 93500 931000 941000 9424 分析测量范围:概念•分析测量范围分析测量范围( (线性范围线性范围):):指患者样本未经任何处理指患者样本未经任何处理( (稀释、浓缩或其他预处理稀释、浓缩或其他预处理),),由检测系统直接测量得到由检测系统直接测量得到的可靠结果范围的可靠结果范围, ,在此范围内一系列不同样本分析物的在此范围内一系列不同样本分析物的测量值与其实际浓度测量值与其实际浓度( (真值真值) )呈线性比例关系呈线性比例关系. .•临床可报告范围临床可报告范围: :指定量检测项目向临床能报告的检测指定量检测项目向临床能报告的检测范围范围, ,患者样本可经稀释、浓缩或其他预处理患者样本可经稀释、浓缩或其他预处理. .•线性线性: :检测样本时检测样本时, ,在一定范围内可以直接按比例关系在一定范围内可以直接按比例关系得出分析物含量的能力得出分析物含量的能力. .25 实验样品准备•选择与临床样本同样的基质选择与临床样本同样的基质, ,不含干扰物质不含干扰物质; ; 或厂家推荐的产品或厂家推荐的产品•数量数量 验证实验验证实验:5-7:5-7个不同浓度的样本个不同浓度的样本, ,高值样本应高于高值样本应高于线性上限线性上限30%,30%,低值样本低于线性下限低值样本低于线性下限, , 26 实验方法•上限的高值样本按一定比例稀释为至少上限的高值样本按一定比例稀释为至少5 5种浓度种浓度, ,按试按试剂说明书操作剂说明书操作, ,将每一浓度样本重复检测将每一浓度样本重复检测2 2次次, ,计算线性计算线性相关系数相关系数27 结果判断•线性范围应符合制造商规定的要求线性范围应符合制造商规定的要求, ,且线性相且线性相关系数关系数|r|≥0.97|r|≥0.9728定性检测项目的性能验证29 两种方法•诊断明确的定性检测性能评估诊断明确的定性检测性能评估: :灵敏度、特异性灵敏度、特异性•诊断不明确的定性检测性能评估诊断不明确的定性检测性能评估: :结果的一致性结果的一致性, , Kappa Kappa值表示值表示30 诊断明确的定性检测•比较方法比较方法: :目前正在使用的、目前正在使用的、””金标准金标准””方法方法、、某种定某种定量方法或临床诊断量方法或临床诊断•样本要求样本要求: :量足够大量足够大, ,稳定稳定•样本数量样本数量: :取决于评价者的目的取决于评价者的目的•结果不一样标本的处理结果不一样标本的处理: :用金标准或参考方法明确结果用金标准或参考方法明确结果31 检测方法与明确诊断比较2*2列联表检测方法检测方法 明确诊断明确诊断 阳性 阴性阴性 总数总数阳性阳性 A B A+BA B A+B阴性阴性 C D C+D C D C+D总数总数 A+C B+D A+B+C+DA+C B+D A+B+C+D灵敏度灵敏度灵敏度灵敏度=100%[=100%[=100%[=100%[A/(A+C)] A/(A+C)] A/(A+C)] A/(A+C)] 特异性特异性特异性特异性=100%[=100%[=100%[=100%[B/(B+D)]B/(B+D)]B/(B+D)]B/(B+D)]阳性预测值阳性预测值阳性预测值阳性预测值=100%[=100%[=100%[=100%[A/(A+B)]A/(A+B)]A/(A+B)]A/(A+B)]阴性预测值阴性预测值阴性预测值阴性预测值=100%[=100%[=100%[=100%[A/(A+C)]A/(A+C)]A/(A+C)]A/(A+C)]检验效能检验效能检验效能检验效能=100%[(=100%[(=100%[(=100%[(A+D)/N]A+D)/N]A+D)/N]A+D)/N]32 诊断不明确的定性检测项目性能评估 检测方法、可比较方法一致程度比较 可比较方法可比较方法 检测方法检测方法 阳性阳性 阴性阴性 总计总计阳性阳性 a b a b a+ba+b阴性阴性 c d c d c+dc+d总计总计 a+ca+c b+db+d n n一致程度百分比一致程度百分比一致程度百分比一致程度百分比= = = = 100%(a+d)/n100%(a+d)/n100%(a+d)/n100%(a+d)/nKappaKappaKappaKappa值值值值>0.75>0.75>0.75>0.75，一致性优秀，一致性优秀，一致性优秀，一致性优秀KappaKappaKappaKappa值：值：值：值：0.4-0.750.4-0.750.4-0.750.4-0.75，一致性较好，一致性较好，一致性较好，一致性较好KappaKappaKappaKappa值值值值>0.75>0.75>0.75>0.75，一致性差，一致性差，一致性差，一致性差33 总体设计•首先完成精密度实验首先完成精密度实验, ,精密度良好是其他方法学验证实精密度良好是其他方法学验证实验的保障验的保障•准确度实验准确度实验•分析测量范围、检出限分析测量范围、检出限34 谢谢大家35。