体外诊断产品性能评估-使用ROC对实验室方法进行临床诊断准确度的评估-杨宗兵

体外诊断产品性能评估体外诊断产品性能评估-20222022年年9 9月月2 2日日杨杨宗宗兵兵使用使用ROCROC对实验室方法进行临床对实验室方法进行临床诊断准确度的评估诊断准确度的评估术语和定义ROCROCROC定义用于描述某种测试性能的图表。它反映了真阳性率（灵敏度）与 假阳性率（特异性）的相关性。真阳性率划在纵坐标，假阳性率（或真阴性率）划在横坐标。临床准确度（以灵敏度和特异性表示）在全决定水平的范围中表现ROCROC适用范围开发新检测试剂的研究人员评价某种检测试剂或器械临床准确性生产厂家建立诊断准确性要求的监管部门评价，决定使用何种检测的临床实验室对临床检测性能评价的建康或科研工作者ROCROC临床准确度（诊断准确度）诊断检测区分两种或多种临床状态的能力例如：区分类风湿性关节炎和系统性红斑狼疮区分类风湿性关节炎和非关节疾病区分慢性肝炎与非肝性疾病区分类风湿性关节炎和其他混合的关节疾病等ROCROC相关术语假阴性（FN）：在存在疾病或某种情况的个体身上检测出阴性结果假阳性（FP）：在没有疾病或某种情况的个体身上检测出阳性结果假阴性率（FNF）：有疾病个体出现阴性结果占全体有疾病个体的比率，FN/(FN+TP)；等同于特异性假阳性率（FPF）：无疾病个体出现阳性结果占全体无疾病个体的比率，FP/(FP+TN)；等同于灵敏度ROCROC相关术语特异性（Spec）：真阴与假阳的关系灵敏度（Sens）：真阳与假阴的关系阳性预测率（PPV）：TP/(TP+FP)阴性预测率（NPV）：TN/(FN+TN)ROCROCROC定义ROC全称是“受试者工作特征”（Receiver Operating Characteristic）ROC曲线的面积就是AUC（Area Under the Curve）AUC用于衡量“二分类问题”机器学习算法性能ROCROCROC原理用于二分类判别效果的分析与评价基 本原理：通过点(cutoff point/cutoff value)的移动,得到多对正判率(sensitivity)和误判率(1-Specificity(特异度),以正判率为纵轴,以误判率为横轴,连 接各点绘制曲线,然后计算曲线下的面积,面积越大,判断价值越高方案设计评估方案评估方案确定临床问题使用下列方法来确定临床问题：被研究群体特征需要做的管理决定明确检测结果在做决定中的作用确定临床问题确定临床问题确定临床问题同一个检测在不同的临床背景下会有不同的表现：一个检测可以很好的区别无前列腺疾病男性组与患癌的中年男子组,但用于区分中年良性前列腺疾病组和中年恶性前列腺疾病组就效果很差通常,确定临床问题或目标需要把相似人群分成相应的亚组例如,用放免试剂检测血清中ACE活性时,患有肉瘤组和其他高钙血症，如肿瘤或甲亢等评估方案评估方案确定每个个体的真实临床状态采用外部的独立的标准或条件尽可能准确地确定每个个体的临床状态.可以基于详尽的诊断或临床表现或结果的评价不采用所要评价的检测项目的结果来划分个体.既不要知道检测结果也不要采用检测结果选择代表群体选择代表群体选择性偏差避免选择性偏差影响评价的有效性和相关性，选择代表应格外谨慎检测结果的临床解释取决于所选人群的质量例如，便潜血用于筛查结肠癌，如果要评价在无症状中年人群的诊断准确性，那么来自建康自愿者或结肠癌病人的样本不适合选择代表群体选择代表群体回顾性研究选择样本时不要受检测结果或检测过程的影响。排除有争议的或不相符的样本会使检测看上去比实际更好，一个只包括有报告病人的回顾性研究（排除未完成检测病人）同样会使评价结果与实际不符选择代表群体选择代表群体检测前选择在检测前选择待检个体时要首先避免其他检测结果直接或间接影响待检个体的选择造成的偏差按照事先确定的健康状态和数量选择受试群体.一旦被选定就不能退出试验如果有人不能完成试验(技术原因,分析干扰,死亡或失联等),应在数据分析时说明，同时应报告失去已选择测试个体可能造成结论的偏差选择代表群体选择代表群体发病率独立于疾病的发病率，不需要选取反映实际发病率的样本。最理想的是选取等比例的受疾病影响和不影响的样本数量选择代表群体选择代表群体统计咨询在设计试验方案时，应向统计学专家咨询确认以下问题：研究人群的定义、样本量和选择等。样本数量要适合于评估目标，提供有效的ROC曲线和试验结果的比较；否则，人群选择的标准要清楚的描述建立个体的真实临床状态建立个体的真实临床状态临床状态客观评价准确度需要把检测结论与独立的、真实临床状态进行比较。判断条件或标准条件可用于按照个体自身健康状态分类。标准可以包括活检结果，手术或尸检发现，影像数据或长期跟踪结果等但是个体分类往往是不完善的实践或所依照的标准是不可靠的或者是有偏差的。有些标准不能归于所确定健康状态的分类中去。如果所制订的标准比待评价检测试剂的结果更为可靠，那么这些标准就是准确的建立个体的真实临床状态建立个体的真实临床状态评价的有效性验证临床准确度评价时，有效性受限于检测样本的分类，检测再完美所选个体真实状态不对也没有意义，即结果不能分辨“真实”健康状态有时检测结果和错误分类的群体符合率较高，使检测看起来非常完美因此尽可能的对个体群体正确划分，应考虑误划分的可能，分类越真实检测就越接近真实水平建立个体的真实临床状态建立个体的真实临床状态真实临床亚群常规临床诊断可能不适合进行检测的评价，确定病人的临床亚群需很多信息，如活检、尸检、造影和长期对治疗和临床结果的跟踪。这些措施会增加成本，但从长期来看，使用廉价的常规诊断可导致错误的结论，使病人错误使用和错误管理建立个体的真实临床状态建立个体的真实临床状态分类方法大多数临床中，独立准确的对病人真实临床状态进行分类很困难检测结果与临床进程相关性研究有较高的临床应用价值用可测量的临床结果作为诊断依据采用多数原则或专家一致意见，尽量减少错误的出现准确度比较时，包含疾病有无的个体，增加参数估计的可靠性待测个体分组时，可采用逻辑值进行区分（解决存在灰区而难于分组情况）建立个体的真实临床状态建立个体的真实临床状态独立分类为避免评价偏差，临床状态不应通过待检结果判断或比较。待检（类似）结果不能作为个体分类标准例如，评估CK-MB（放免法）用于急性心梗的诊断时，电泳法和免疫抑制法均不应用于个体分群。如同工酶LD-1/LD-2比与CK-MB比对时，LD1/LD2比率结果也不应用于划分待检人群。因评价结果会存在偏向于作为参考标准的项目建立个体的真实临床状态建立个体的真实临床状态盲法评估保证群体分类不受检测结果的影响，应不预先披露。尽可能的使用客观标准纳入个体分类建立在临床或形态学等主观评价标准时（如涂片），应联合诊断或采取复核制度评估方案评估方案检测所选个体在不知道个体的临床分类的情况下进行实验检测需要比较多个检测时,要在相同临床进程的时段对所有个体进行全部的检测.最好是以批检测模式进行检测所选个体检测所选个体盲法考虑评价群体的真实临床状态对检测人员保密，或与确认其临床状态同时进行或在之前进行提前知道临床状态会导致倾向性偏差，可能被剔除或重复检测。例如不符结果往往被主观判定为技术问题或干扰检测所选个体检测所选个体测量比对试验应使用相同的个体样本相同的时间（病程不同可能导致结果偏差）为避免运行次数间的差异，在样本稳定性和试验条件允许的情况下一次性完成所有的检测评估方案评估方案检测项目的临床准确度评价使用下列方法评价检测项目的临床准确性:建立并使用相关操作特征曲线分析检测的准确性在受试者操作特征曲线基础上与其他相关测试结合临床准确度评价临床准确度评价诊断或临床灵敏度和特异性诊断灵敏度：识别出疾病的能力，100%或1.0（患有疾病人群）灵敏度=+；诊断特异性：识别没有疾病的能力，100%或1.0（未患有疾病人群）特异性+临床准确度评价临床准确度评价诊断或临床灵敏度和特异性对于检测而言，阴性和阳性结果总会存在交叉点（判断的阈值决定阴阳性，例如），灵敏度和特异性总是朝着相反的方向，因此我们总会在两者之间进行取舍不同用途选择不同的灵敏度和特异性临床准确度评价临床准确度评价ROC在电子信号探测和雷达接收的研究中基于统计而来的交叉区外结果永远不受影响，交叉区内随阈值而变，每个阈值都有一组值但ROC曲线不直接反应阈值临床准确度评价临床准确度评价ROC（其他决定因素）相对成本和错判的可能性，即假阳性和假阴性率价值（死亡，治愈，延长生命，改善生活质量）用于分辨两种状态的比率（即疾病或临床状态的发生率）临床准确度评价临床准确度评价ROC曲线的定性分析高临床诊断准确度的结果在ROC曲线上位于左上角，此处真阳性率高、假阴性率低经验表明曲线离左上角越近，临床准确度就越高不能区别真阳和真阴的ROC曲线（0,0）和（1.0,1.0）呈45度角分布，此时可能和阈值关系不大临床准确度评价临床准确度评价ROC曲线下的面积为评价分类器好坏，引入了AUC，与“Score”“Score”表示每个测试样本属于正样本的概率，将每个Score作为阈值，我们可以得到N个（TPR、FPR），连线既得AUC临床准确度评价临床准确度评价ROC曲线下的面积（/0.5，零假设）0.5（没有意义）1.0（完全分开）之间波动，AUC可靠性（N）AUC是一个概率值，当你随机选取阳性样本和阴性样本，分类算法根据计算得到的Score值将阳性样本排在阴性样本前面的概率就是AUC值面积为0.8表示从患病组随机抽取的大于从未患病组随机抽取的概率为80%（所有正样本数大于负样本数的概率），并不表示阳性结果的发生率为0.80或与80%的疾病相关联临床准确度评价临床准确度评价ROC曲线下的面积在AUC0.5的情况下，AUC越接近于1，说明诊断效果越好AUC在 0.50.7时有较低准确性AUC在0.70.9时有一定准确性AUC在0.9以上时有较高准确性AUC0.5时，说明诊断方法完全不起作用，无诊断价值AUC0.5不符合真实情况，在实际中极少出现临床准确度评价临床准确度评价ROC优点简单，图示，易于直观表现，检测临床准确度比较全面，即在全区间内可以区分阴阳性，与发病率无关因包含了所有阈值，不需要确定特定的判断阈值（MDL）不需要根据发病率选择代表样本，实际上选择相同数量的两种状况的人群更为常见提供两个测试在同一个坐标内直接目测比较，不需要数据简化和归类，灵敏度和特异性可以同时表示出来ROC缺点实际判定阈值通常不出现在曲线上（尽管该阈值是已知的并用于绘制ROC曲线）试验样本数也不在曲线上参数计算复杂，不借助计算机的情况下，绘制和分析ROC曲线会很麻烦临床准确度评价临床准确度评价总结建立临床目标，明确对于病人管理造成的后果是基本要求：仔细确认临床要回答的问题或临床目标选择要应用的临床代表人群作为受试人群，事先与统计专家沟通设计方案所有实验室要基于同一人群相同样本，并且检测与个体临床进程时间相同临床准确度评价临床准确度评价总结建立临床目标，明确对于病人管理造成的后果是基本要求：通过亚组设计，尽可能的确定真实临床诊断可能需要超出常规手段的诊断方法或采用广泛的跟踪所有归类标准要独立于检测或待评价结果使用ROC曲线在所有决定阈值区间内评价比较测试的灵敏度和特异性，以便确定临床准确度示例临床准确度评价临床准确度评价ROC示例对患有典型胸痛到急诊室就医的人群中，比较MYO，CK-BB,CK-MB和总CK诊断心肌梗死和非心肌梗死病人的能力。通过测定胸痛开始后连续多次的血清样本，建立ROC曲线举例举例举例举例举例举例实际用途 ROC曲线能很容易地查出对疾病的识别能力。选择最佳的诊断界限值 两种或两种以上不同诊断试验对疾病识别能力的比较例 ADA诊断结核性浆膜腔积液，共选择了40例腹水患者，其中确诊结核性腹水20例，肿瘤性性腹水20例 测定腹水ADA，确定ADA诊断结核的临界值举例举例结核性肿瘤性结核性肿瘤性211890823255763435935454210.51523123018221492201817232189198113452151157893412举例举例举例举例临床准确度评价临床准