诊断试验的评价

试验方法的评价和疾病筛检朱益民浙江大学医学院流行病与卫生统计学系基本内容试验方法的评价诊断价值的评价(预测值）提高诊断效率的方法疾病筛检试验方法的评价评价程序可靠性评价真实性评价诊断标准与灵敏度和特异度的关系ROC曲线参考值建立的方法评价程序被评价的方法与标准方法作同步、盲法试验。一、确定金标准二、选择研究对象：病人和非病人病例组是指用金标准确诊‘有病’的病例，应包含典型的、不典型病例，早、中、晚期病例，轻、中、重病例、有和无并发症的患者。非病例组是指用金标准证实没有目标疾病的其他病例，特别是与该病容易混淆的病例。三、确定样本大小四、同步试验、盲法(doubleblind)观察五、根据试验检查的结果，评价其诊断价值金标准待评价方法阳性阴性阳性阴性特定人群病人非病人结果评价评价程序金标准是指一种疾病标准诊断方法，是当前医学界公认的、诊断某病的可靠的诊断方法，应用该标准能较正确区分某种疾病的人和不具有该病的人。常见的金标准有：病理学检查（组织活检和尸体解剖）、手术发现、微生物培养、特殊的影像学诊断、长期随访结果。要评价一个试验方法，金标准的选择是非常重要的。一项诊断试验的准确程度只有在金标准诊断的病人组和非病人组中进行考核，才能得到正确地评价。金标准（goldstandard）研究对象包括两组，病例组和非病例组。病例组是被金标准确诊的病人。应包含该疾病的典型与非典型病例，早、中、晚期各期病例，轻、中、重病例、有和无并发症的患者。非病例组是用金标准证实无该病的人群，即对照组。还应包括与该病容易混淆的病例（作鉴别诊断）所有的研究对象都要有代表性，病例组和对照组都应代表各自的总体。研究对象22)1(PPUNp为试验的预期特异性或灵敏度，为容许误差，为第一类误差的概率，U值由U界值表可查得。样本大小评价内容包括两方面：1.真实性（validity）真实性是指测量值与实际值的符合程度。2.可靠性（reliability）重复性（repeatability），指一项试验在相同的条件重复试验获得相同结果的稳定程度。被评价试验结果金标准有病无病合计阳性A(真阳性)B(假阳性)A+B阴性C(假阴性)D(真阴性)C+D合计A+CB+DN评价的结果可靠性的评价标准差和变异系数符合率或一致性调整一致性Kappa值：表示两种试验的结果的一致性的程度算术均数标准差/CV%100dcbada受试总人数真阴性真阳性符合率%10041dcdbaadbdcaa调整符合率观察一致率：ndap0机遇一致率：nndbdcncabapc]))(())(([ccppp1Kappa0Kappa值的计算被评价试验结果金标准有病无病合计阳性A(真阳性)B(假阳性)A+B阴性C(假阴性)D(真阴性)C+D合计A+CB+DNKappa值一致性强度＜0弱0～0.2轻0.21～0.40尚好0.41～0.60中度0.61～0.80高度0.81～1很强甲、乙二医生阅读胸部X线片诊断结果甲医生诊断乙医生诊断合计肺门淋巴结结核正常肺门淋巴结结核46（α）10（b）56（r1）正常12（c）32（d）44（r2）合计58（c1）42（c2）100（Ｎ）观察一致率=（46＋32）/100＝78％机遇一致率＝[（58×56）/100＋（42×44）/100]/100=51%Kappa=(78%-51%)/(1-51%)=0.55影响试验可靠性的因素1．实验方法本身或仪器的差异2．调查对象的生物学变异：研究对象间的变异和研究对象内部变异3．观察者的测量变异：观察者间变异和观察者内变异真实性评价的内容包括两个方面：1、对有病的识别能力2、对无病的识别能力真实性评价指标1、灵敏度（sensitivity,Se)：在真正有病的人中，试验结果阳性的百分率，即真阳性率。%1001cac假阴性真阳性假阴性灵敏度假阴性率漏诊率灵敏度表示试验方法对疾病的检出能力。灵敏度越高，说明试验方法对疾病检出能力越强，病人漏诊机会越少。%100%100)(caaSe假阴性真阳性真阳性灵敏度2、特异度（specificity，Sp)：指在无病的人中试验结果阴性的百分率，即真阴性率。特异度表示试验方法对无病的检出能力。特异度越高，说明对无病的判断能力越强，无病的人误诊机会越少。%100%100)(dbdSp假阳性真阴性真阴性特异度%100%1001dbb真阴性假阳性假阳性特异度假阳性率误诊率似然比（likelihoodratio,LR）假阳性率真阳性率LR一项诊断价值高的试验，应当是真阳性率（灵敏度）高而假阳性率低。两者的比值称为诊断试验的似然比。正确指数。灵敏度和特异度是反映一项诊断试验的两个基本指标，两者之和减去1。约登指数（Youden’sIndex）误诊率漏诊率特异度灵敏度指数111dbdcaaYouden评价甲胎蛋白诊断肝癌的价值，以肝穿刺作为金标准，试验结果如下表。甲胎蛋白试验结果肝穿刺结果合计肝癌非肝癌异常205（a）31（b）236正常29（c）37（d）66合计23468302（N）灵敏度=(205/234)×100%=87.61%特异性=(37/68)×100%=54.41%漏诊率=1-灵敏度=1-87.61%=12.39%误诊率=1-特异性=1-54.41%=45.59%似然比=（205/234）/（31/68）=1.92Youden指数=灵敏度+特异度-1=0.876+0.5441－1=0.4202符合率=（205+37）/302×100%=80.13%%24.71%1006837663723420523620541调整符合率诊断试验研究为一个样本研究，所得灵敏度、特异性、Youden指数均为样本值，因此存在抽样误差。从样本值来推断总体值，须进行统计推断。不同方法的比较应排除抽样误差，进行统计学检验。诊断试验评价的统计学推断样本指标标准误可信区间灵敏度（Se）特异性（Sp）粗一致性Youden指数Se±USseSp±USspCA±USCAYI±USYI诊断性试验指标的参数估计3caacSse3dbbdSsp3/NcbbaSCA33dbbdcaacSYI诊断性试验研究的假设检验2221212121,CACACACACACASSSSCACAUSSYIYIYIYIYIYISSYIYIU2221212121,适用情况检验假设（Ho）计算公式两个试验的总一致性比较两个试验的Youden指数比较两方法总体粗一致性相等两方法总体的YI值相等如应用血清铁蛋白（SF）和血清原卜啉（ZPP）试验法进行铁缺乏症的临床诊断。以骨髓涂片铁染色检查作为诊断缺铁的金标准，确诊为缺铁性贫血50例，非缺铁性贫血78例。比较两试验的Youden指数的优劣。SF和ZPP法诊断缺铁性贫血的结果金标准合计缺铁非缺铁SF(ng/ml)＜3047350≥3037578ZPP(ng/Ghb)≥14281038＜14226890合计5078128SF法：灵敏度=(47／50)×100%=94%特异度=(75／78)×100%=96%Youden指数=94%+96%－1=0.90ZPP法：灵敏度=(28／50)×100%=56%特异度=(68／78)×100%=87%Youden指数=56%+87%－1=0.43H0：SF法的总体Youden指数与ZPP法相同。α=0.05，并根据公式计算如下：SF法的Youden指数方差同理，ZPP法的方差：S2YI2=0.006361查z临界值表，z0.05=1.96，z＞z0.05，P＜0.05，按＝0.05水准拒绝H0，即SF法与ZPP法总体Youden指数不同，SF法较优。001602.0753753347347332YI1S17.5089.044.090.0089.0006361.0001602.0YI2YI1212YI22YI1YI2YI1SYIYIzSSS不同诊断水平与灵敏度、特异性不同血糖标准时血糖试验的灵敏度、特异度血糖水平mg/100ml灵敏度%特异度%80100.01.29098.67.310097.125.311092.948.412088.668.213081.482.414074.391.215064.396.116055.798.617052.999.618050.099.819044.399.820037.1100.0ROC曲线以灵敏度为纵坐标，假阳性率（1－特异度）为横坐标作图所得的曲线。该曲线反映灵敏度与特异度之间相互关系的一种方法。受试者工作特征曲线（receiveoperatorcharacteristiccurve,ROC曲线）临床参考值（referencevalue）的确定参考值是指正常人体在解剖、生理、生化上的正常水平以及人体对各种试验的正常反应值。这里的正常人是指没有得所检查疾病的人.确定参考值的方法主要有：1.统计学方法:人为、无生物学基础如数据呈正态分布：如数据呈偏态分布：双侧：P2.5～P97.5单侧：0～P95，或P5－X±US2．从危险度和预后确定：按疾病的各种危险因素的危险度或预后情况确定参考值范围。危险度决定法在足够样本量的前瞻性队列研究基础上，能够较确切地反映该地区人群某种指标的参考值范围。171419830102030405060708090痛风患病率%6.06.0-6.97.0-7.98.0-8.9=9.0血尿酸（mg%）3．实用界限：满足灵敏度、特异度和正确指数的要求ROC曲线常用来决定最佳临界点，接近左上角那一点，可定为最佳临界点预测值（predicativevalue,PV）%100%100baa试验结果阳性人数真阳性阳性预测值3baabSPPV表示试验结果阳性者可能有该病的概率，阳性预测值越高，诊断价值越高。)1)(1(特异度患病率患病率灵敏度患病率灵敏度阳性预测值影响阳性预测值的因素1、试验方法的灵敏度和特异度患病率为2%时，不同灵敏度，特异度的阳性预测值（%）特异度（%）灵敏度（%）50607080909599506070809095992.02.53.34.89.217.050.52.43.03.95.810.919.755.02.83.44.56.712.522.258.83.23.95.27.614.024.662.03.54.45.88.415.526.964.73.74.66.18.816.227.966.03.94.86.39.216.828.866.9患病率对预测值的影响灵敏度为99%、特异度为95%的诊断试验在不同患病率的人群(1%、2％、10％检查的阳性预测值是多少？患病率1%2%10%（1）试验人数100010001000（2）确实有病人数1020100（3）确实无病人数990980900（4）试验真阳性（2）×0.9910（应为9.9）20（19.8）99（5）试验假阳性（3）×（1-0.95）50（应为49.5）4945（6）总阳性数（4）+（5）6069144（7）阳性预测值（4）/（6）10/60=17%20/69=29%99/144=68.8%患病率与预测值的关系在不同人群中PSA试验诊断前列腺癌的价值图15－9预测值与患病率的关系020406080100020406080100患病率（%）预测值（%）阳性预测值阴性预测值提高诊断试验效率的方法一、选择合适而正确的指标主观指标、半客观指标、客观指标二、选择患病率较高的人群1.设立专科门诊2.选择高危人群3.选择有特殊临床表现的人群三、联合试验并联（平行）试验串联（系列）试验试验A试验B并联试验串联试验＋＋＋＋＋－＋－－＋＋－－－－－联合试验指同时做几项试验，只要