系统评价Meta分析常用质量评价工具简介

ChinJEvid-BasedMed|October25,20191|系统评价/Meta分析常用质量评价工具简介杜亮华西期刊社/中国循证医学中心2013.5.18ChinJEvid-BasedMed|October25,20192|提纲•一、背景•二、RCT的质量评价工具•三、观察性研究的质量评价工具•四、非随机实验性研究的质量评价工具•五、诊断性研究的质量评价工具•六、动物实验的质量评价工具•七、SR/Meta分析（MA）的质量评价工具ChinJEvid-BasedMed|October25,20193|一、背景1.1为什么要进行质量评价？•真假难辨——诚信、政策、监督•好坏可评——质量评价工具造假造假垃圾垃圾+=？+=？ChinJEvid-BasedMed|October25,20194|1.2质量评价评什么？•什么决定研究的好坏？–其结果接近真实情况，稳定–偏倚程度小（可能出现在研究设计、实施、结果分析的整个过程）–集中反映在研究报告的方法学部分–高质量报告≠高质量研究ChinJEvid-BasedMed|October25,20195|1.3质量的定义•试验设计产生无偏倚结论的可能性（内部真实性）•——JadadAR，牛津大学，1996•在设计与研究过程中反映结论真实性的一系列因素，这些因素与临床试验的内部真实性、外部真实性和统计分析有关•——VerhagenAP，荷兰马斯特里赫特大学，1998ChinJEvid-BasedMed|October25,20196|1.4相关名词•真实性–是指研究的设计和实施中防止系统误差或偏倚的程度，主要包括内部真实性与外部真实性•内部真实性–是指单个研究结果接近真实值的程度，即受各种偏倚因素，如选择偏倚、实施偏倚、失访偏倚及测量偏倚的影响情况。•外部真实性–又称适用性或外部有效性，主要指研究结果是否可以应用于研究对象以外的其他人群，即结果的使用价值与推广应用的条件，主要与研究对象的特征、干预措施和结局的选择标准有关。ChinJEvid-BasedMed|October25,20197|1.4相关名词•对偏倚的认识是质量评价的核心•偏倚（bias）又称系统误差，是指研究的结果或推论偏离真实值，或导致这种偏离的过程，也可以说在资料收集、分析、解释或发表过程中，能够导致结论系统地与真实值有所不同的任何趋势–选择偏倚、实施偏倚、损耗偏倚、测量偏倚、报告偏倚、其他偏倚ChinJEvid-BasedMed|October25,20198|1.4相关名词•质量评价（qualityassessment）是评估单个研究在设计、实施、结果分析整个过程中可能出现各种偏倚的程度。•质量评价工具则是依据这些可能出现的偏倚的各个方面设计的。主要有3种类型：–条目（component/items）–一览表或清单（checklist）–量表（scale）ChinJEvid-BasedMed|October25,20199|1.5临床流行病学研究设计分类是否由研究者分配暴露试验性研究（是）观察性研究（否）是否随机分配是否设立比较组非随机对照试验（否）随机对照试验（是）分析性研究（是）描述性研究（否）同期对照试验非同期对照试验平行试验交叉试验队列研究（暴露→结局）病例对照研究（暴露→结局）横断面研究监测个案或病例系列报告ChinJEvid-BasedMed|October25,201910|二、RCT的质量评价工具•RCT是实验性研究设计中的“金标准”•AHRQ研究显示，涉及RCT的评价工具共20种量表、11种清单及1种组成部分的评价工具和7类指导性文件•RCT：采用随机分配方法（随机数字表、计算机随机序列、抛硬币法等）将受试者分入不同处理组。•CCT：采用半随机分配方法（按入院顺序、住院号、研究对象生日的奇偶）分配到不同处理组。ChinJEvid-BasedMed|October25,201911|2.1Cochrane偏倚风险评估工具CJEBM干预类SR中67.6%使用领域条目说明选择偏倚1.随机序列产生2.分配隐藏实施偏倚3.对研究者和受试者施盲测量偏倚4.研究结果盲法评价随访偏倚5.结果数据的完整性报告偏倚6.选择性报告研究结果其他偏倚7.其他偏倚来源ChinJEvid-BasedMed|October25,201912|2.2Jadad量表JadadscaleCJEBM干预类SR中12.1%使用•1996年由Jadad等发布•最初目的是为了评价疼痛治疗的RCT质量，从随机方案及其隐匿、盲法、退出与失访病例的原因及数量3方面进行评价•采用0-5分计分法，≤2分为低质量，≥3分为高质量•优点：简单明了，直接评价经验证的、与试验效应估计中的偏倚有直接关系的试验特征•缺点：存在诸多不组，如未考虑分配隐藏•推荐：将Jadad量表与隐蔽分组的评价结合起来ChinJEvid-BasedMed|October25,201913|2.2Jadad量表Jadadscale评价指标内容记分随机未随机/不清楚/假随机0提及“随机”，但未描述具体的随机方法1采用“随机”，并描述了正确的随机方法2盲法未实施双盲/假双盲0提及“双盲”，但未描述具体的施盲方法1采用“双盲”，并描述了正确的施盲方法2退出/失访未提及0描述退出/失访例数及原因1ChinJEvid-BasedMed|October25,201914|2.3Delphi清单•由马斯特里赫特大学Verhagen及其同事1998年依据Maastricht和Chalmers量表，遵照Delphi法制作•针对RCT的内部有效性、外部有效性和统计分析3个方面•共8个条目，其中第1条又分为两个部分•采用“是”、“否”、“不清楚”进行判断•缺点：基于专家共识而非实验数据ChinJEvid-BasedMed|October25,201915|2.3Delphi清单是，否，不清楚选择偏倚1.治疗分组：是否采用随机分组是否采用分配隐藏选择偏倚2.重要结局基线是否相似选择偏倚3.清楚描述受试者入选条件测量偏倚4.对结果评价者施盲实施偏倚5.对研究者施盲实施偏倚6.对受试者施盲？7.提供主要结局的点估计值和可信区间随访偏倚8.意向治疗分析ChinJEvid-BasedMed|October25,201916|2.4PEDro量表PhysiotherapyEvidenceDatabase物理治疗证据数据库，1999，乔治中心的物理治疗循证中心序号条目记分1清楚描述受试者纳入标准每个条目1分，采用“是”、“否”进行判断2随机分配3分配隐藏4重要指标基线相似5受试者盲法6治疗师盲法7评价者盲法8*85%的受试者进行至少一项主要结局测量9有测量结果受试者需遵方案治疗，或行意向治疗分析10*对至少一项主要结局的组间统计进行报告11提供至少一项主要结局的点估计值和可信区间基于Delphi清单制作，*在Delphi清单基础上增加的条目ChinJEvid-BasedMed|October25,201917|2.5Chalmers量表•1981年由Chalmers等提出•分一般情况记录、研究方案、统计分析、结果陈述4部分，36个条目，均为经验条目•一般情况不参与记分，研究方案、统计分析、结果3部分按6：3：1权重记分，共27个条目，总分100分•缺点：实施繁琐、耗时；部分内容与报告质量混淆ChinJEvid-BasedMed|October25,201918|三、观察性研究的质量评价工具•非实验性研究（队列、病例-对照、横断面），未加干预，允许事件自然发展•与RCT相比，更易受（选则性）偏倚风险影响（横断面病例-对照队列）•2005年，剑桥大学SimonSanderson等研究显示：–86种观察性研究质量评价工具：•19%→病例-对照；27%→队列；7%→横断面•45%→病例-对照/队列；15%→3种设计•2010年，明尼苏达大学TatyanaShamliyan等研究显示：–96种观察性研究质量评价工具（46量表，51清单）：•21.88%→队列；13.54%→病例-对照；5.21%→横断面ChinJEvid-BasedMed|October25,201919|3.1NOS量表TheNewcastle-OttawaScale•纽卡斯尔-渥太华量表（TheNewcastle-OttawaScale,NOS）•3大块（人群选择、可比性、暴露评价或结果评价），8个条目•采用星级系统的半量化原则，满分队列研究为13颗星，病例-对照研究9颗星•被Cochrane协作网的非随机研究方法学组用于培训，并被推荐使用。•免费下载网址|October25,201920|3.1.1队列研究NOS量表条目评价标准研究人群选择暴露组的代表性如何1.真正代表人群中暴露组的特征；2.一定程度上代表了人群中暴露组的特征；3.选择某类人群，如护士、志愿者；4.未描述暴露组来源情况。非暴露组的选择方法1.与暴露组来自同一人群；2.与暴露组来自不同人群；3.未描述非暴露组来源情况。暴露因素的确定方法1.固定的档案记录（如外科手术记录）；2.采用结构式访谈；3.研究对象自己写的报告；4.未描述。确定研究起始时尚无要观察的结局指标1.是；2.否。ChinJEvid-BasedMed|October25,201921|3.1.1队列研究NOS量表条目评价标准组间可比性设计和统计分析时考虑暴露组和未暴露组的可比性1.研究控制了最重要的混杂因素；2.研究控制了任何其他的混杂因素（此条可修改用以说明特定控制第二重要因素。结果测量研究对于结果的评价是否充分1.盲法独立评价；2.有档案记录；3.自我报告；4.未描述。结果发生后随访是否足够长1.是（评价前规定恰当的随访时间）；2.否。暴露和非暴露组的随访是否充分1.随访完整；2.有少量研究对象失访但不至于引入偏倚（规定失访率或描述失访情况）；3.有失访（规定失访率）但未行描述；4.未描述随访情况ChinJEvid-BasedMed|October25,201922|3.1.2病例-对照研究NOS量表条目评价标准研究人群选择病例确定是否恰当1.恰当，有独立的确定方法和人员；2.恰当，如基于档案记录或自我报告；3.未描述。病例的代表性1.连续或有代表性的系列病例；2.有潜在的选择偏倚或未描述。对照的选择1.与病例同一人群的对照；2.与病例同一人群的住院人员为对照；3.未描述。对照的确定1.无目标疾病史（端点）；2.未描述来源。ChinJEvid-BasedMed|October25,201923|3.1.2病例-对照研究NOS量表条目评价标准组间可比性设计和统计分析时考虑病例和对照的可比性1.研究控制了最重要的混杂因素；2.研究控制了任何其他的混杂因素（此条可以进行修改用以说明特定控制第二重要因素）暴露因素的测量暴露因素的确定1.固定的档案记录（如外科手术记录）；2.采用结构式访谈且不知访谈者是病例或对照；3.采用未实施盲法的访谈（即知道病例或对照的情况）；未描述采用相同的方法确定病例和对照组暴露因素1.是；2.否。无应答率1.病例和对照组无应答率相同；2.描述了无应答者的情况；3.病例和对照组无应答率不同且未描述ChinJEvid-BasedMed|October25,201924|3.2横断面研究的质量评价工具—JBI量表JBIPACES(JoannaBriggsInstitute,PracticalApplicationofClinicalEvidenceSystem)澳大利亚循证护理中心（1996年建立，31国设分中心，2004年复旦）的在线临床证据评鉴系统条目评价标准1该研究的研究目的是否明确？立题依据是否充分？0分：不符合要求；1分：提及，但未详细描述；2分：详细、全面、正确描述。2研究人群是如何选择的（是否随机选取研究对象，是否采取了分层