1-(张秀明)定量检验性能评价要求与实验方案设计

定量检验性能评价要求与实验方案设计中山大学附属中山医院中山市人民医院张秀明E-mail:[e-mail]主要内容方法学评价有关概念与管理要求检验程序及性能特征验证、确认和评价管理要求方法学评价实验方案精密度正确度可报告范围灵敏度和检出限检验程序检验：确定一个特性的值或特征为目的的一组操作。定量检验和定性检验：通常将确定一个特性的值的检验称为定量检验；确定一个特性的特征的检验称为定性检验。检验方法和检验程序：检验方法是检验过程中所用操作逻辑次序的一般性描述，而检验程序是指根据一种或多种检验原理及给定的检验方法对某一检验项目所做的详细描述。检测系统：检验程序与校准品和分析仪器组成检测系统，检验程序的分析性能通过校准品和分析仪器而实现，因此检验程序的分析性能通常又称检测系统的分析性能。检验程序的性能特征测量精密度（重复性、中间精密度）测量正确度测量准确度测量不确定度分析特异性（分析干扰）分析灵敏度空白限、检出限、功能灵敏度和定量检出限分析测量范围和临床可报告范围诊断灵敏度和诊断特异性CNASCL02:20125.5.1.3检验程序的选择首选检验程序体外诊断医疗器械使用说明中规定的程序公认/权威教科书、经同行审议过的文章或杂志发表的程序国际公认标准或指南中的程序国家、地区法规中规定的程序实验室应选择预期用途经过确认的检验程序。每一检验程序的规定要求（性能特征）应与该检验的预期用途相关（验证）。性能验证验证（verification）是通过提供客观证据证明给定项目满足规定的要求。验证是对主要的性能特征进行实验，用数据说明是否满足厂商声明或预期用途，适用于配套检测系统，必须由实验室独立完成。定量检验验证的性能指标主要是精密度、正确度和可报告范围，某些检验项目还应包括检出限。对于定性免疫学检验来说主要是检出限、符合率和CUT-OFF值。性能确认确认（validation）是通过提供客观证据对特定的预期用途或应用要求已得到满足的认定。适用于非标准方法、实验室设计或制定的方法、超出预定范围使用的标准方法和修改过的确认方法。主要由厂商或方法的研究开发者完成。性能确认应尽可能复盖所有性能指标，并通过客观证据（以性能特征形式）证实满足检验预期用途的特定要求。方法学评价又称方法学性能评价（evaluationofperformanceofmethodology）是通过实验途径评价测量方法的技术性能指标，并判断其是否可接受。目的：明确该测量方法是否具有足够的技术性能来说明分析方法的可靠性，并确认其是否满足临床使用的要求或验证是否达到厂家声明的技术性能。检验程序性能验证要求检验程序性能确认要求主要内容方法学评价有关概念与管理要求检验程序及性能特征性能验证、确认和评价管理要求方法学评价实验方案精密度正确度可报告范围灵敏度和检出限方法学评价方案精密度评价重复性试验中间精密度EP5或EP15正确度评价方法学比对回收试验EP9或EP15检出限评价空白限、检出限、定量限（EP17)确定参考区间参考区间的建立转移与验证（C28）分析干扰评价配对差异实验方案剂量效应实验方案用病人标本作偏倚分析实验方案EP7可报告范围多项式线性评价方案（EP6）稀释回收实验方案EP05-A3.Evaluationofprecisionofquantitativemeasurementprocedures;approvedguideline-thirdedition.2014EP5-A2：EvaluationofPrecisionPerformanceofClinicalChemistryDevices;ApprovedGuideline-SecondEdition，2004EP15-A2.UserVerificationofPerformanceforPrecisionandTrueness,2005EP15-A3.Userverificationofprecisionandestimationofbias；approvedguideline-thirdedition.2014精密度评价CLSI文件精密度实验基本要求试验样品一定要稳定，要严格控制冻融、混匀的操作。至少做正常和病理2个水平的精密度实验。尽可能在可报告范围内做高、中、低3个水平。若有可能应尽可能选择参考区间两端和医学决定水平处的浓度。实验样品的分析物含量应尽量与公司对检测系统性能评估时采用的含量一致，便于比较。实验时按厂商操作规程要求做好校准，并且一定要和实验样品一起做质量控制。精密度实验方法CLSIEP5-A2.Evaluationofprecisionperformanceofquantitativemeasurementmethods.2004.2×2×20实验方案，主要适用于厂商和实验方法的研究和开发者1×20实验方案，可用于临床实验室，反映的是室内精密度CLSIEP15-A2.UserVerificationofperformanceforprecisionandTrueness.2005.3×5（EP15-A2）或5×5（EP15-A3）实验方案，主要用于验证厂商的性能，也可与质量目标进行比较建议的精密度实验方法传统方法（确认或验证）至少2个水平先进行重复性验证，批内重复测定20次，求均值、标准差和CV重复性符合要求，进行室内精密度验证，每天测定一次，连续20天常规质控在控EP15-A2或EP15-A3（验证）适用于所有定量方法，尤其是发光项目，至少2个水平，每天重复3次（或5次），连续5天，计算批内CV和室内CV。传统实验方案举例某实验室在自动分析仪上作葡萄糖测定，使用葡萄糖氧化酶-过氧化物酶比色法试剂盒。为了解该葡萄糖检测系统的精密度性能，选用某公司的人血清冻干控制品作为精密度评价实验样品。选择中和高2个水平。对每一个水平的评价样品分别做批内和日间重复测定。批内将评价样品随机插入到病人样品中检测，连做20次；日间是每天做l次评价样品，累积20次结果。结果见下表：10.611.411.111.27.57.06.97.311.311.011.110.87.07.36.97.010.710.810.911.16.87.07.17.111.310.311.011.27.16.87.17.110.811.511.011.57.47.57.27.111.011.210.610.97.17.27.07.410.611.010.710.97.27.37.06.810.910.811.011.17.16.97.27.211.211.710.710.56.77.27.37.011.210.610.611.37.47.27.26.9检测结果天间批内天间批内实验周期高水平中水平控制品批内和日间检测结果（mmol/L）x3.23%3.33%符合要求2.34%2.50%符合要求3.22%3.33%符合要求2.26%2.50%符合要求判断结论1/3TEa=3.33%1/4TEa=2.50%1/3TEa=3.33%1/4TEa=2.50%判断指标10%CLIA允许误差（TEa）3.232.343.222.26变异系数（%）0.350.260.230.16标准差（mmol/L）11.0010.967.147.09均值（mmol/L）20202020重复次数（n）天间批内天间批内实验周期高水平中水平控制品水平精密度实验统计结果及性能判断ixxn2()1ixxsn100%sCVx确定性能目标（厂商声明）熟悉仪器、操作者培训、样品制备确定重复测定次数和实验周期样品检测：重复测定3次，连续5天记录实验数据计算批内和总的不精密度精密度的估计值与厂商声明比较验证了厂商声明的精密度大于计算验证值，并检验精密度的估计值是否小于验证值是EP15-A2精密度实验方案小于联系厂商寻求帮助否EP15-A2实验方案举例厂家声明（标准差）：实验方法：每天分析1个批次，每个浓度重复测定4次，连续5天。实验数据：1.0批内2.0总重复次数第1批第2批第3批第4批第5批X1140138143143142X2140139144143143X3140138144143141X4139137144143142EP15-A2实验方案举例统计学处理计算总均值：计算批内标准差：计算总的标准差：12345141.3xxxxxxD2110.3677(1)DnddidixxsDn批内21()5.66881DddxxBD212.44nssBn总批内0.61EP15-A2实验方案举例与厂商声明的性能的比较批内精密度：批内精密度与厂商声明的性能一致。室内精密度：计算验证值并与s总比较：验证值：结论：总精密度符合厂商声明的性能。(0.61)(1.00)s批内批内(2.44)(2.00)s总总2222[(1)()]4.391()()1nsnBTnnBsDD批内4批内2.011.143.194.39CT总(2.44)s总验证值(3.19)T：自由度；D：实验天数；n：重复测定次数；C：2分布值，查统计表获得主要内容方法学评价有关概念与管理要求检验程序及性能特征性能验证、确认和评价管理要求方法学评价实验方案精密度正确度可报告范围灵敏度和检出限EP9-A3:Measurementprocedurecomparisonandbiasestimationusingpatientsamples;approvedguideline-thirdedition.2013EP9-A2：MethodComparisonandBiasEstimationUsingPatientSamples;ApprovedGuideline-SecondEdition，2002EP15-A2：UserVerificationofPerformanceforPrecisionandTrueness,2005EP15-A3.Userverificationofprecisionandestimationofbias；approvedguideline-thirdedition.2014正确度评价CLSI文件正确度评价实验方法CLSIEP9-A2.MethodComparisonandBiasEstimationUsingPatientSamples,20028×2×5方法学比对实验方案，主要适用于厂商和实验方法的研究和开发者CLSIEP15-A2.UserVerificationofperformanceforprecisionandTrueness.2005.方法比对实验方案，主要用于验证厂商的性能，测量均值的偏差与可接受的性能标准进行比较，当偏倚＞性能标准时应计算偏倚的验证值。定值参考物质检测的回收实验简单回收试验EP9-A2实验方案基本要求检验人员有足够的时间熟悉仪器的操作、维护与保养检验人员有足够的时间熟悉评价方案在整个实验中，保持实验方法和比较方法都处于良好的质量控制之下试验方法和比较方法有足够的数据确保实验结果具有代表性每个标本用试验方法和比较方法作重复测定至少做40份病人标本，实验至少持续5天EP9-A2实验方案基本要求尽可能使50%的实验标本分析物的含量不在参考区间内，各个标本分析物含量越宽越好不要使用对任一方法有干扰的标本每份标本应有足够的量，以便使实验方法和比较方法都能做双份测定将标本按1、2、3、4、5、6、7、8顺序排列先测一遍，然后将顺序倒过来做双份第二次测定应在2个小时内两种方法对同批标本分别开始实验，最好使用当天采集的标本EP9-A3方案要求40份样本，单次测量熟悉仪器，样本制备，检测数据收集同一方法内重复测定值的离群值检验绘制Y-X散点图