诊断试验的评价与ROC分析

临床诊断试验与评价临床试验的类型I期临床试验：人体药物的耐受程度，药物在人体中的代谢情况。参加试验的人员是健康人或病人（20左右）II期临床试验：药效、安全性的初步评价。患者参加试验（200例以上）III期临床试验：药效与安全性的确认阶段，我国法规要求试验组人数300以上，总人数400-500人IV期临床试验：上市后的临床研究。更大范围使用后的疗效与安全性一、诊断试验的研究设计随机对照重复伦理盲法试验设计中的要素一、处理因素二、受试对象三、试验效应临床试验避免偏倚的技巧随机对照重复盲法临床试验资料的数据集分析应包括在知情同意的基础上，愿意参加试验的所有随机化后的受试者，也即原计划好处理（治疗）的受试者都需进入分析，而不是根据实际上完成的受试者。按此原则所作的分析是最好的分析，研究在病人知情同意的前提下，应该考虑参与者的依从性，制定合理的纳入排除标准，要求每一个随机分到试验组或对照组的受试者都应该尽量完整地随访，记录研究结果如疗效、安全性评价指标以及脱离原因。同时，要考虑参与者和不愿意参与者的差异，以及给研究结果带来的偏倚。意向性分析（Intentiontotreat）全分析集（fullanalysisset，FAS）安全性评价（safetyset）临床有效性的统计学评价=====0为什么要学习诊断试验的评价选择最科学合理的诊断方法，循证医学的重要内容根据实际需要，提供具有优势的诊断试验（试剂、药物、方法）金标准的选择最为可靠的诊断标准！二、诊断试验的评价指标表13.1诊断资料22四格表金标准（D）诊断结果(T)病例（D）对照(D)合计TP(真阳性)FP(假阳性)TP+FPFN(假阴性)TN(真阴性)FN+TN阳性（T）阴性（T）合计TP+FNFP+TNN阳性预测值公式：)()|()()|()()|()|(DPDTPDPDTPDPDTPTDP，)()|()()|()()|()|(DPDTPDPDTPDPDTPTDPPV诊断实验的灵敏度和特异度不会受到患病率的影响，但是预测值指标会受到患病率高低的影响。阳性预测值的应用例13.1以往调查得知，某人群2000名成年男子中有1人患有冠心病。采用心电图（electrocardiogram，ECG）作为诊断工具，金标准确诊的冠心病病例组中98％为ECG阳性，未患该病的对照组中1％为ECG阳性，问ECG诊断为阳性时成年男子实际患冠心病的概率是多少？解：已知)(DP0005.020001，98.0%98)|(DTP01.0%1)|(DTP，9995.00005.01)(1)(DPDP根据（13.1）式有：(|)()(|)(|)()(|)()0.980.00050.04670.980.00050.010.9995PTDPDPDTPTDPDPTDPD但在临床上，ECG仅用于怀疑患有冠心病者，)(DP＝10％时，得到)|(TDP＝91.59％因此ECG用于人群效果较差，但用于临床诊断价值较高。诊断试验的评价指标二、诊断试验中常用的评价指标：灵敏度、特异度、误诊率、漏诊率三、预测指标：阳性预测值、阴性预测值四、诊断试验的综合评价指标：正确率、Youden指数、比数积、阳性似然比、阴性似然比诊断试验中常用的评价指标例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)常用指标有（一）正确百分率、（二）灵敏度、（三）特异度、（四）Youden指数、（五）阳性似然比、（六）阴性似然比、（七）阳性预报值、（八）阴性预报值。例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)一、正确百分率%100NTNTP，3/))(NFNFPTNTPSE（正确百分率本例的正确百分率=%86.838386.0%100700171416，正确百分率SE%39.10139.0700/)1049)(1714163（。问题：（1）依赖于患病率，（2）没有揭示假阴性和假阳性错误诊断的频率，（3）受诊断阈值的限制。例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)二、灵敏度（Sensitivity）)()|(FNTPTPDTPSen=TPR)()1()(3FNTPSenSenFNTPFNTPSEsen。本例TPR＝Sen＝416/520＝0.8,%75.10175.0520/)8.01(8.0senSE该指标只与病例组有关，反映了诊断试验检出病例的能力。该指标与患病率无关，但是与疾病的严重程度和能够被诊断实验识别的程度有关。例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)三、特异度（Specificity）)()|(TNFPTNDTPSpe)/()1()(3TNFPSpeSpeTNFPTNFPSEspe本例Spe＝171/180=0.95,%62.10162.0180/)95.01(95.0speSE该指标只与对照组有关，反映了诊断试验排除非病例的能力。漏诊率)(1FNTPFNSen；误诊率)(1TNFPFPSpe，误诊率也叫假阳性率（falsepositiverate，FPR）。本例漏诊率Sen11－0.8=0.2；误诊率Spe11－0.95=0.05此图中间的垂线与横轴的交点称为诊断界点（cut-offpoint）或诊断阈值。灵敏度与特异度的优缺点优点：灵敏度与特异度不受患病率的影响，其取值范围均在（0,1）之间，其值越接近于1，说明其诊断准确性越好。缺点：当比较两个诊断试验时，单独使用灵敏度或特异度，可能出现矛盾。解决办法：将两指标结合：Youden指数、阳性似然比、阴性似然比等例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)四、Youden指数（Youden’sindex），FPRTPRSpeSenJ1)/()1()/()1()()(33TNFPSpeSpeFNTPSenSenTNFPTNFPFNTPFNTPSEJ本例75.005.08.0J，即Youden指数为0.75；其标准误为：0239.0180)95.01(95.0520)8.01(8.0JSE。Youden指数的取值范围在（0,1）之间，其值越接近于1，诊断准确性越好。例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)五、阳性似然比（positivelikelihoodratio）)1(SpeSenFPRTPRLR本例1605.08.0LR，即阳性似然比为16。LR的取值范围为（0,∞），其值越大，检测方法证实疾病的能力越强。因涉及对数变换，标准误公式复杂，所以未给出，以下同例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)六、阴性似然比（negativelikelihoodratio）SpeSenFPRTPRLR)1()1()1(本例2105.095.0)8.01(LRLR的取值范围为（0,∞），其值越小，检测方法排除疾病的能力越好。医生最关心的问题：1.试验阳性时患病的概率多大？2.试验阴性时不患病的概率多大？3.如何选择合适的诊断界值，做出合理的诊断，使患者获得最好的处理例13.2表13.2ECG诊断试验的结果七、阳性预报值(positivepredictivevalue))()|()()|()()|()|(DPDTPDPDTPDPDTPTDPPV＝00000)1)(1(11)1)(1(SenPPSpePSpeSenPSenP当灵敏度与特异度为常数时，增加患病率将增加阳性预报值。本例Sen=0.8，Spe=0.95，假如人群患病率0P0.0005，得：12610079.00005.08.0)0005.01)(95.01(11PV如果患病率扩大为0P0.2，可获得%12.949412.0PV。例13.2表13.2ECG诊断试验的结果八、阴性预报值(negativepredictivevalue，PV))()|()()|()()|()|(DPDTPDPDTPDPDTPTDPPV)1()1(11)1()1()1(00000PSpePSenPSenPSpePSpe当灵敏度与特异度为常数时，增加患病率将降低阴性预报值。将0P0.0005，Sen=0.8，Spe=0.95，代入上式得：(10.8)0.0005110.99999999100000.95(10.0005)PV如果0P0.2，%9595.0PV，此时阴性预报价值降低不明显。例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)样本患病率NFNTPP)(1等于总体人群患病率)(0DPP时，有：)(FPTPTPPV，)(TNFNTNPV本例得到PV＝416/425＝0.9788；PV＝171/275＝0.6218。此结果与（13.7）式和（13.8）式计算结果相去甚远。因为本例7429.0700)104416()(1NFNTPP，而0P0.0005。阳性预报值与阴性预报值)(FPTPTPPV，)(TNFNTNPV一般用于某特定人群，如例13.2限定研究对象为“进入某医院的急性持久胸痛病人”，这类人群的患病情况往往在不同级别医院不一样，因此适合大医院或教学医院的诊断标准不能轻易照搬于基层小医院或流行病学现场。PV和PV的取值范围在（0,1）之间；对于相同的患病率，其值越接近1，检测方法的诊断价值越高。五、截断点的选择与ROC曲线在进行诊断临界点选择的时候，需要综合考虑灵敏度和特异度，选择最佳诊断界值。ROC曲线提供了很好的临界点选择工具。ROC【receiver(relative)operatingcharacteristic的缩写，译为“接受者工作特征”】ROC曲线研究历史1950’s雷达信号观测能力评价1960’s中期实验心理学、心理物理学1970’s末与1980’s初诊断医学ROC的涵义与起源诊断试验：泛指血液生化、影像学、免疫学、细胞学、病理学、统计模型等检查。重要性：1.循证医学的重要组成部分2.诊断试验评价方法可用于：临床试验评价临床检验评价流行病学筛查试验评价实验室检验评价统计学模型评价……ROC曲线评价诊断试验的重要性灵敏度,特异度,假阴性率,假阳性率Testvariable医学诊断试验多数不能将病例和对照完全分开，而只有将二者100%的分开时，才能够获得100%正确的