GRADE方法及系统评价的质量评价

GRADE方法及系统评价的质量评价杨晓妍四川大学华西临床医学院/华西医院2015年7月内容：2一、影响研究质量的因素二、GRADE方法三、系统评价的质量评价四、实例WanCM,MDPhDWinter,2002研究结果的真实可靠科研道德随机误差系统误差机遇chance偏倚bias一、影响研究质量的因素3几个基本概念4试验性研究与非试验性研究总体与样本抽样与抽样误差偏倚与机遇5试验性研究：对可进行人为分组的对象，人为施加某种干预措施，以探讨该措施对各组结局影响的研究非试验性研究：亦称观察性研究，指对无法进行人为分组的对象，被动观察各组相关特征的差别，以探讨某因素（特征）在各组间的差异6总体：根据研究目的确定的全体同质观察对象。样本：从总体中按一定方式抽取出来的部分观察单位的集合。抽样：总体中抽取部分观察单位获得样本的过程。抽样误差：样本与总体之间由于抽样过程引起的差异，在统计学上称为抽样误差。7偏倚（bias）：当临床研究受到某些因素的影响，使最终观察的结果一致向真实结果的某一方向偏离的现象，即称为偏倚。是一种系统误差。机遇（chance）：又称为概率（probability），是指某一事件发生的可能性大小。对于一个假定完全避免了偏倚的样本作观察时，所得结果仍会与真实情况有一定差异。这是来自于测量过程本身或生物学变异所产生的随机变异（randomvariation）造成的，这种单纯由机会引起的差异称为机遇，是一种随机误差。8偏倚与机遇的关系：偏倚机遇共性：任何类型研究任何研究阶段影响真实性不同点：本质系统误差随机误差方向性有无能否避免能不能控制方法完善设计、分析手段，客观测量扩大样本，限制大小9观察次数偏倚真值测量值机遇●●●●●●●●●●●●●●●●●●●●●●●●●●●●●偏倚与机遇的关系示意图指标●●10偏倚的分类选择性偏倚（selectionbias）测量性偏倚（measurementbias）混杂性偏倚（confoundingbias）（一）偏倚111.选择性偏倚（selectionbias）定义：不正确地选择了研究对象，使研究开始时，两组研究对象就存在除研究因素以外的其它因素分布的不均衡性，因而导致研究结果与真实情况之间产生差异。产生：只要所选的样本不能代表整体特征就可能产生•选择时•分组时12选择性偏倚的分类：•组成成员偏倚（membershipbias）试验组对照组自愿入组目标人群基线情况：试验组≠对照组13•诊断信息偏倚（detectionsignalbias或unmaskingbias）在选择纳入观察病例时，因某种与观察内容无直接关系的症状或体征，加速或促进本病的发现，而错误地判定因果关系。eg：绝经期妇女服用雌激素与子宫内膜癌组别以阴道出血纳入观察子宫内膜癌病例以病理诊断纳入观察子宫内膜癌病例有无合计有无合计服用雌激素457525942101未服用雌激素7211018289106195OR=9.8OR=1.786.5%VS58.4%•其他选择性偏倚142.测量性偏倚（measurementbias）定义：在资料收集阶段，由于观察和测量方法上有缺陷，组间不一致，使各组所获得的信息产生系统误差，即为测量性偏倚（信息偏倚）。产生：•对两组观察强度或频度差异•实验非规范化操作•影像学资料定性或定量差异15测量性偏倚的分类：•疑诊偏倚（diagnostic-suspiciousbias），也称期望偏倚关注组阳性发现非关注组阳性发现•沾染性偏倚（contaminationbias）差异•干扰性偏倚（co-interventionbias）差异•其他测量性偏倚163.混杂性偏倚（confoundingbias）定义：简称混杂，研究暴露于某因素与某疾病之间的关系时，由于一个或多个既与疾病有关，又与暴露因素相关的外部因素（extraneous）的影响，掩盖或夸大了研究的暴露因素与该疾病的联系。这种影响所带来的误差称为混杂偏倚或混杂。17研究因素疾病结局非研究因素真正的关联观察到的关联未观察到的关联混杂因素示意推断的因果关系18产生：存在两种以上的因素，其中包括研究因素和非研究因素非研究因素对最后结果有影响，且与研究因素有关非研究因素不是研究因素与疾病因果关系的中间因素在研究因素的不同水平，非研究因素的分布不一致19eg：服用维生素E与心肌梗死组别心肌梗死有无服用维生素E400600未服用维生素E600400RR=0.671（保护因素）组别心肌梗死有无吸烟820350不吸烟180670RR=3.38（危险因素）发现：20组别吸烟吸烟率（%）有无服用维生素E27073027未服用维生素E88012088组别心肌梗死有无服用维生素E24030未服用维生素E580300吸烟者中：不吸烟者中：组别心肌梗死有无服用维生素E160570未服用维生素E20100RR=1.351RR=1.321偏倚防控21策略:制定研究方案（计划书）时：•遵循科研设计基本原则（随机、对照、盲法、基线可比）•参照相关质量评价标准•根据偏倚类型、产生阶段及产生原因合理选择控制措施实施研究时：参照设计方案严格实施，做好关键点控制总结研究结果时：基于研究实施及结果，全面规范报告22措施：•设计方案的选择•纳入/排除标准的制定•对照•随机（随机抽样、随机分组）•盲法（盲谁？）•限制•匹配•分层方法（分层抽样、分层随机、分层分析等）•入组后维持均衡性的措施（依从性、失访、是否依从者的特征差异等）•统计分析控制（标准化法、分层分析、多因素分析）•操作层面的控制（技术方案、培训、统一工具并校正、数据录入与质控、分析方法选择与参数设置、全面报告）•……23影响机遇的因素1、样本大小——主要因素•Rationaleforlargesamplestudyandmetaanalysis•Variousrestrictionsinpractice•Thresholdsettolimitchance’seffectwithinanacceptableinterval2、观察对象间的差异大小——重要因素3、观察结果的差异——重要参数4、对两类错误的容许范围关注真阴性还是真阳性两类错误的大小仅反映研究受机遇影响的大小，并不代表研究的总体质量（二）机遇二、GRADE方法24用于系统评价、卫生技术评估（HTAs）及临床实践指南中备选方案的证据质量评价和推荐强度评级的系统当前最成熟的应用领域为干预性系统评价和治疗性临床实践指南25上述译文见《中国循证医学杂志》，原文见JournalofClinicalEpidemiology其他资源：GRADE工作组主页()GRADE证据质量评价与推荐强度评级26GRADE将证据质量分为高、中、低、极低4级，推荐强度分为强、弱2级，对应解释如下：证据质量高：非常确信（很有把握认为真实值与估计值接近）中：信心一般（真实值可能与估计值接近，但存在二者完全不同的可能性）低：信心有限（真实值可能与估计值完全不同）极低：几乎没什么信心（估计值很不确定）推荐强度强：明确显示干预措施利大于弊或弊大于利弱：利弊不确定或无论质量高低的证据均显示利弊相当影响证据质量的八因素27可能降低级别的因素：偏倚风险不一致性（对系统评价）间接性不精确性发表偏倚（对系统评价）可能升高级别的因素：效应量大剂量反应关系混杂因素会降低效应起点起点28GRADE分级软件（GRADEprofiler，简称GRADEpro）该软件可免费下载和安装（）该软件主要用于创建结果总结表（SummaryofFindings，SoF）和证据概要表（GRADEevidenceprofile）结果总结表(SummaryofFindings，SoF)示例Source:GRADE-130续表：31证据概要表(GRADEevidenceprofile)示例Source:GRADE-13233续表：三、系统评价的质量评价34系统评价（SR）作为合成证据，是一种重要的证据形式，其信息含量高，是决策的重要基础，但其质量仍存在差异以系统评价为证据来源的进一步研究综合被称为系统评价再评价（Overview），其本质是一种系统评价，是针对同一问题多个系统评价的一种综合研究方法。Overview在以下情况下可能有用：总结针对某种疾病的多种干预措施证据（最常见），或总结某种干预措施治疗不同疾病的证据，或总结某种干预措施的不良反应（价值有限）。其方法仍在发展中。系统评价再评价（Overview）的研究现状20世纪末国外学者开始进行系统评价再评价研究国内发表的overview始见于2010年，较英、美、澳等国晚十年至2013年4月检索到十篇中文，之后的两年内发表文献增加了一倍以“系统评价”和“质量”为主题词检索CNKI（2015-6-30），检中5486条结果，文献可归纳为：以发表于某杂志的SR为对象的（如《中国循证医学杂志》、《中华儿科杂志》）以研究领域的SR为对象的（如护理、公共卫生）以疾病或疾病状况的SR为对象的（如肺癌、脑出血）以治疗手段的SR为对象的（如针灸、中药等）以从业者发表的SR为对象的（如药学人员）……3536评价医学文献的一般原则：真实性（研究方法是否科学合理）如治疗性研究的对照设置、随机化及隐蔽分组、盲法、是否按分配组别分析全部研究对象等等重要性（研究结果是否有价值）如相对效应与绝对效应（RRR和ARR），NNT，效应的一致性，效应估计的精确性（95%CI），统计学意义与临床意义等；灵敏度、特异度、阳性及阴性预测值等（对诊断性研究）适用性（研究结果是否可推广）如患者特点、干预措施是否适用、价值观等评价系统评价需要考虑的方面：37应从其制作全过程的各关键环节展开，如：•提出的决策问题是否恰当•该问题是否在进行系统评价前即已提出（对Cochrane系统评价必须事先发表系统评价计划书）•检索原始研究是否全面及是否评价了发表偏倚•纳入及排除标准设置是否恰当•是否有重复的文献筛选、资料提取及原始研究质量评价过程（如至少两人独立地进行）•是否提供了纳入研究特征表或用文字表述•综合各研究结果的方法是否恰当•得出结论时是否考虑了纳入研究的质量•是否申明利益冲突•……系统评价再评价工具方法学质量评价工具：OQAQ和AMSTAR报告质量评价工具：PRISMA38OverviewQualityAssessmentQuestionnaire(OQAQ)399个方面，10个条目，其中1个综合评分：AMSTAR11个条目4041AMSTAR(continued)PRISMA7个方面27个条目4243PRISMA(continued)注意：44无论何种工具都有其适用条件及局限性，须结合专业及具体情况有选择、有甄别地使用各工具均基于报告内容，研究未报告某些重要影响因素信息时对其评价并不全面有的工具未提供总评价条目，就不必强求总评分，因涉及各条目的权重，本身就是一个需要研究的问题评价的关键是使用者结合具体情况，对影响SR质量的各个方面作出自己的判断评价系统评价的核心问题是评价其可重复性及偏倚控制情况四、实例（一）GRADE应用实例451.GRADE在系统评价中的应用462.GRADE在临床实践指南中的应用（二）系统评价再评价实例47实例148实例249实例350主要参考资料：《临床流行病学》第三版，王家良主编，上海科学技术出版社，2009《循证医学》第一版，李幼平主编，人民卫生出版社，2014《中国循证医学杂志》GRADE系列译文JClinEpidemiol的GRADE系列文章OxmanAD,GuyattGH,SingerJ,etal.Agreementamongreviewersofreviewarticles.JClinEpidemiol,1991,44:91-98.OxmanAD,GuyattGH.Validationofani