系统评价几要素概要

系统评价几要素方法学约定俗成的方法结果的实用性和可复制性降低偏倚系统综述SystematicReview华山医院王倩•系统评价的目的在于评判目标实现的程度•系统评价指标体系的构成方法？•具体临床问题•用统计方法进行综合，得到定量结果•结论更真实、可靠，被推荐为疗效评价的金标准•为临床治疗实践提供可靠依据•为临床科研提供立题依据，避免重复研究3.3.1.经验评价方法专家打分法专家用两两比较法评价连环比例法（淘汰法）都是目标“有序化”的方法3.3.2.价值分析法3.3.3.模糊（Fuzzy）综合评价法模糊概念模糊综合评价步骤3.3.4.因子分析法3.3系统评价方法★老系统新系统老系统新系统1新系统2新系统n老系统新系统直接法阶梯法并行法系统试运行与切换(续)切换的方法系统评价评价贯穿系统建设的全过程，尤其在设计、实施阶段更为重要。它分析系统的处理，以确保系统能按期望运行。系统评价通常涉及：设计中对系统的运行及收益的要求与系统实际运行情况及收益进行比较系统运行后，重新估价设计中的成本、控制等复杂因素。评价的问题反馈给建设的各阶段以便重新处理综述的类型叙述性的文献综述系统综述叙述性的文献综述综合性描述，反映过去、现况、发展方向选题：近年有较大进展的某一专题存在较多争议的某一专题，需要加以归纳整理，并提出一些作者自己的观点。叙述性的文献综述：格式前言：撰写综述的理由、目的、意义、背景正文对论述的问题分析归纳，按时间顺序纵向描述或按国际、国内横向论述或纵横结合总结得出结论，指出有待解决的问题系统综述与传统综述的共同点目的提供新知识和信息，让读者在短时间内了解某专题的研究概况和发展方向获得解决某一临床问题的方法回顾性、观察性均可能存在系统偏倚和随机错误不同点减少偏倚程度的不同传统的综述作者的观点有一定倾向性缺乏统一的检索方法筛选文献没有严格的统一的标准对原始文献的质量考虑较少定性总结结论可能不完整重复性一般较差系统综述针对具体临床问题收集所有的文献根据科学标准评估，删除无科学性文献，并在讨论中说明将符合条件文章的结果加以定量综合格式与论著相同,作为论著发表的系统综述的格式题目摘要：结构式前言方法文献检索、研究的选择、质量评估数据摘录、研究特征、数据定量综合方法结果描述研究特征、数据定量综合讨论系统评价的步骤1.提出问题2.确定系统综述目的，制定计划书3.检索并选择研究4.对纳入的研究进行质量评价5.收集资料6.分析、形成结果7.解释结果8.系统综述的改进与更新提出并形成系统综述的问题科学性、临床意义可能得到回答问题的构成要素：简明、准确、具体研究对象干预类型评价的结局系统综述研究方案(1)研究背景临床问题的重要性、意义需要解决的问题以往的系统评价、是否存有争议目的解决有矛盾的证据回答一些尚无确切答案或有多种不同的解释的问题最终目的是概括并帮助人们正确地理解证据。系统综述研究方案(2)制定检索策略选择合格文献的标准（纳入标准）评价文献质量的方法收集和分析数据的方法结果的分析和报告系统综述研究方案(3)Cochrane协作组将对研究方案进行评审、修改并提出反馈意见。研究方案将在Cochrane系统综述数据库中发表并接受来自用户的评论或批评步骤3:检索和收集文献制定检索策略，进行全面的、系统的检索检索方法、数据库主题词研究类型检索和收集文献证据的来源研究原著系统评价报告实践指南其他针对治疗指南的综合研究证据专家意见收集证据的途径期刊、电子光盘检索参考文献目录与同事、专家、药厂联系获得未发表的文献，如学术报告、会议论文、毕业论文等个人通信电子数据库选择研究按照纳入标准研究设计类型样本量要求两人独立进行评估不一致时由第三者或双方讨论协商解决步骤4:评估研究的质量为什么要评估证据的质量?大多数干预措施的效果不是非常显著，有的甚至可对病人造成伤害。研究的质量内部真实性该研究结果是否真实可靠？外部的真实性是否有推广价值，能否应用于临床病人？是否要改变我的临床实践？应怎样做？内部的真实性研究的科学性临床试验中的误差：随机误差、系统误差系统误差即是偏倚选择偏倚测量偏倚混杂偏倚试验的外部真实性实用价值:研究结果在多大程度上可应用于其他环境取决于纳入试验病例的特征、研究背景、试验的治疗方案以及评估的结局质量评估应包括试验的外部真实性如果内部真实性有问题，评价外部真实性就毫无意义证据的强度等级系统综述和Meta-分析有明确结论的RCT如：可信限范围不包含临床意义的临界值未得到明确结论的RCT如：点估计值提示有临床意义，但可信限范围包含了临界值队列研究病例对照研究横断面研究病例报告不同的临床问题需要不同的研究设计临床问题最佳的研究设计疗效评价RCT治疗的不良反应RCT诊断或筛查试验与金标准进行盲法比较预后评价队列研究无法进行RCT或有伦理问题的疗效评价队列研究暴露不良环境的危害病例对照研究各种研究设计的系统综述和Meta分析QUOROM声明：RCT的Meta分析Lancet,1999,354(27):1896-1900CONCENSUS声明：观察性研究的Meta分析JAMA2000，283（15）：2008诊断试验评价Meta-analyticmethodsfordiagnostictestaccuracyJClinEpidemiol.1995Jan;48(1):119-30;SystematicreviewstoevaluatediagnostictestsEurJObstetGynecolReprodBiol2001Mar;95(1):6提供临床治疗证据的研究类型非系统性临床观察研究生理学实验非随机临床试验随机对照临床试验非系统性临床观察研究临床医生对疾病的非系统性观察病例报告病例分析专家评论无对照、样本量小存在较大的偏倚生理学实验生理学实验往往与临床结果有较大的差异，动物实验更不能等同于人体例降低体温可抗御大脑损害-阻滞剂减弱肌力的效应，与该药能降低充血性心衰病人的病死率非随机研究治疗组和对照组之间预后因素分布的差异由医生决定给予治疗可造成偏倚通过配对等方法可减少各干预组之间的差异、控制该混杂因素，但对于未能识别的混杂因素，仍可能影响结果。随机对照临床试验随机临床试验是最严格的方法其他设计类型的结果可能存在偏倚随机试验也可能存在受偏倚的影响，对其方法学质量进行评价是必要的。随机对照临床试验的三大要素设立对照组随机分组方法：简单随机化、区组随机、分层随机编盲（Allocationconcealment）双盲（Doubleblinding）外观一致的对照药或安慰剂双盲双模拟(doubledummy)开放试验、单盲随访退出和失访已纳入的病例发现不符合纳入标准出现药物副作用的病例对分配的治疗不依从的病例治疗意愿分析(intention-to-treatanalysis)“最差情况”分析(‘worst-case’scenario)系统评价中对RCT质量评价内容研究的质量随机分组、方法、编盲盲法；双盲、单盲、开放性随访：病例是否完整分析方法影响结果解释的因素偏倚的来源对研究质量的处理排除质量低的研究，但有排除产生真实性结果研究的危险纳入低质量的试验同时探讨质量高低对效应估计值的影响用敏感性分析探讨排除低质量研究对系统评价结果证据强度的影响使用Meta回归模型累积性Meta分析随机分组序列的产生方法2分：通过计算机产生的随机序列或随机数字表产生的序列；1分：试验提到随机分配，但产生随机序列的方法未予以交待；0分：半随机或准随机试验，指采用交替分配病例的方法，如按入院顺序、出生日期单双数。双盲法2分：描述了实施双盲的具体方法并且被认为是恰当的，如采用完全一致的安慰剂等；1分：试验仅提及采用双盲法；0分：试验提及采用双盲，但方法不恰当如比较片剂与注射剂而未提到使用‘双假’的方法。退出与失访1分：对退出与失访的病例数和退出的理由进行了详细地描述；0分：没有提到退出或失访。运用有关的质量评价量表进行评估，如Jadad量表对文献质量进行评价的意义：可作为是否纳入研究的标准；用于解释研究结果间的差异性(异质性)；用于敏感性分析；作为研究结果统计学分析时赋予权重的根据，即结果越精确(可信期间越窄)或质量高的赋予较大权重质量评价的局限性研究质量低可能与研究报告不恰当有关与作者联系，补充或核实情况真实性的测量标准与实际研究的结局之间的联系？LimitationsofRCTAnsweringcomplexquestionsWhenresultsmaynotrelatetoyourpatientTrialsthatlacksufficientpower步骤（5）：资料收集资料收集表格的设计评价过程文献质量提供分析的数据预试验有助于设计完善的表格资料收集的内容收集者的姓名研究出处、研究者研究的质量研究设计类型、方法、过程的质量控制研究对象：来源、诊断标准、入选和排除标准干预措施：干预及方法、时间、随访期结局的测量：指标、测定方法、质控资料收集资料收集的可靠性两人以上评价一致性检验从研究者本人获取资料补充研究报告步骤(6)：分析与结果描述描述性分析总数、设计、质量、结果Meta分析采用统计学方法，将多个独立的，针对同一临床问题、可以合成的临床研究综合起来进行定量分析Meta分析（1）主要分析，研究假设确定进行比较的主要结果指标连续变量或分类变量：血压测定值、降压有效率RR、OR、Meta分析（2）分析所需的变量代表研究对象特征的关键变量决定干预措施特征的主要变量：方法、剂量、疗程等决定结局特征的变量：与预后有关的因素结果指标：以自然单位表示使研究间结果能够比较而不至于产生误导的标准化结果。Meta分析（3）研究结果是否相似：研究间的异质性研究对象特征干预措施的变异程度对各个研究的效应进行综合异质性：敏感性分析、亚组分析权重：样本量、质量合并结果的可靠性如何?敏感性分析干预的不良反应不良反应是重要的结局指标在不同情况下的严重程度及其发生频率，特别是不良反应与某一特定的干预之间的因果联系需要进行严格评价系统分析中可能存在的偏倚发表偏倚：阳性结果的研究容易发表，阴性结果的研究作者不愿投稿或投稿后不易发表造成对干预效果的片面夸大。倒漏斗’图形(funnelplot)分析法定位偏倚：检索策略或检索工具不具有代表性语言偏倚步骤7：结果的解释（讨论）证据的强度结果的可应用性其他与决策有关的信息如费用问题和临床实践的现状干预措施的利、弊、费用的权衡证据的强度纳入研究的方法学质量及其不足之处系统综述本身的方法未纳入评价的其他证据加以讨论替代指标。可应用性纳入研究的对象的背景是否与自己的病人相似对可能应用的情况以及影响应用效果的因素进行讨论要考虑生物学或文化的差异、病人对干预措施的依从性、病人基线水平(事件率)的差异、费用及病人的态度。其他相关信息流行病学研究的证据临床实践的现状费用的信息卫生决策结论的意义最后评价者需要对系统综述的发现对临床实践的意义进行总结，对该评价结果对未来的科学研究具有什么样的价值进行概括中草药治疗慢性乙型肝炎随机对照试验的系统评价中草药治疗慢性乙型肝炎：研究问题(1)治疗尚没有特效药物临床上广泛使用中草药使用的变异性很大:地区、种类、剂量、方法哪些被证明是有效的？证据的强度如何？中草药治疗慢性乙型肝炎：研究问题(2)按病原分型肝炎病毒达7种，临床结局有很大差异预后不同急性肝炎、慢性乙型肝炎、乙型肝炎病毒无症状携带者、慢性丙型肝炎等中草药治疗慢性乙型肝炎：研究问题(3)评价中草药治疗治疗慢