监控与评价ME系统的介绍

监控与评价（M&E)系统的介绍姜世闻中国疾控中心结核病预防控制中心2005年12月19日哈尔滨主要内容M&E的定义M&E的作用M&E的框架M&E指标的选择M&E指标的利用讨论概念或定义的关系监控评价督导监测M&E的定义监控与评价是综合利用社会科学和流行病学研究方法来评价规划或规划的某一部分的实施情况及效果，改善并高质量的实施规划。直观地讲其目的是评价规划实施的投入、进程、结果和效果，发现存在的问题，总结经验和教训、提出改进规划的建议，确保规划的质量。监控（Monitoring）是利用投入(input)、过程(process)或活动(activity)、产出(output)的资料，常规进行追踪规划的进展。评价（Evaluation）过程评价：衡量规划的质量和完整性。结果（outcome）和效果（impact）的评价：衡量规划对目标人群的结果和效果。督导(Supervision,fieldvisiting)督导是指上级《规划》管理部门对下级《规划》实施单位结核病控制工作的督察和指导。督导活动是《规划》管理的重要内容。是现场调查研究、现场评价、现场指导、现场培训和反馈的过程。监测（Surveillance）常规或专题调查搜集流行病学资料追踪疾病的流行趋势，为评价服务的。M&E的作用M&E与质量保证质量保证（QualityAssurance,QA）质量是一种标准，反映结核病规划效益和效用，使供方和需方都得到满意。质量保证：为保证质量而建立一系列指标，并及时评价，提出改进问题的对策，来改善规划的效益与效用。2.质量标准3.监测标准4.监测评价5.重点问题6.确定问题7.问题的责任方8.分析原因9.提出决定10.实施决定1.计划质量保证循环图监控和评价计划的重要成分清晰的规划目的及目标（可以基于10年和5结核病控制规划和实施计划）为达到每个规划目的明确的实施策略（如遏制结核病策略（StopTBStrategy包括DOTS策略)、TB/HIV策略、MDR-TB策略等）一个描述了投入、过程、产出、结果及效果之间关系的监控和评价框架选择定义清楚的指标及如何定义的、如何收集及如何分析的信息简述参与监控和评价的伙伴（如不同的项目或组织）的协调，包含他们的要求及贡献分享和利用监控和评价结果的措施M&E是规划或项目管理的主要内容领导、机构、项目进程管理财务管理设备采购与管理M&EM&E的重要性的概括在日常的卫生规划管理M&E是非常重要为规划管理者确定策略、设计计划、组织实施，以及确定人力和财力资源提供信息。追踪是否达到了目标，如果没有就要在中期进行修订或调整。质量框架系统模型过程Process投入Input产出Output如果按照计划进行投入，可以开展活动如果按照计划开展活动，可以获得产出如果按照计划获得产出，可以获得结果和效果结果和效果Outcomeimpact监控和评价框架活动（过程）需要什么投入从活动期望什么产出由投入、过程及产出产生的什么短期和长期结果预期规划所产生的作用投入过程产出结果作用政策环境指南人力资源财力资源基础设施机构督导活动培训结核病药品的采购及发放痰菌检查健康促进活动收集信息交流发动高质量的痰镜检服务提供规范治疗有效的病人管理不间断地高质量的药品供应知识、信念和行为完善减少歧视病人发现70%治愈率85%减少感染率减少患病率减少发病率减少死亡率保证质量的痰标本显微镜检查投入过程产出产品/机构指标产品/机构指标产品/机构和指标制订痰标本镜检及EQA指南国际认可的痰标本镜检指南的实用性痰标本镜检培训地市级或者县级实验室人员接受痰涂片镜检培训的百分比有质量保证的痰涂片镜检机构地市级或者县级实验室人员接受痰涂片镜检EQA培训的百分比指标：符合EQA结果的有质量保证的痰涂片镜检实验室的百分比开展镜检和EQA的人力资源各级具有开展镜检和EQA足够人员的实验室百分比对病人进行痰涂片镜检对病人进行痰涂片镜检的实验室百分比开展镜检和EQA的经费各级可以得到开展镜检和EQA的经费的百分比对实验室痰涂片镜检进行EQA（盲法检查）按照指南进行EQA的实验室百分比各级可以得到足够开展镜检和EQA经费实验室的百分比完成实验室常规督导和标准片阅读按照指南被督导的实验室百分比建立提供有质量的实验室试剂和材料的实验室提供有质量的实验室试剂和材料的实验室百分比按照EQA结果的分析进行有目的的访问及干预完成对EQA不好的县/地市参观的百分比对痰标本镜检的EQA进行数据报告完成全部EQA报告的地市和县的百分比提供有效的治疗管理投入过程产出产品/服务指标产品/服务指标产品/服务和指标有关病人管理机制及方法的指南适合国家NTP的病人管理指南根据国际标准，制定适合国家NTP的有关病人管理指南指南完善的、有效的病人管理对负责管理病人的人员，进行培训接受病人管理培训的县级人员比例接受标准管理的病人比例投入充足的人力资源，保障所有病人得到有效的管理各级负责病人管理工作的人员数量（或比例）进行病人管理平均每个人员所管理的病人数所有的病人的治愈率平均每个病人接受有效管理的次数经费投入各级投入用于病人管理工作的经费数量激励各级人员对病人进行有效的管理接受有效管理的病人数量或比例及时发放病人管理费的比例或数量获得治愈的病人数量提供交通工具（督导车辆）各级所需交通工具的数量对病人进行常规督导不能正常维持病人管理工作的单位数量能有效使用交通工具的单位数量提供免费的标准化治疗投入过程产出产品/服务指标产品/服务指标产品/服务和指标制定并下发关于免费及采取标准化疗方案的文件文件规定内容的可行性各地转发、学习相关文件%的机构已接到相关文件并开始执行治愈病人免费对象的标准及化疗方案的标准及操作手册标准和操作手册的实用性对各级结防机构的门诊医生及督导员进行培训%的单位开展了培训%的病人接受了免费的标准化疗%的门诊医生及督导员接受了培训%的接受标准治疗的病人被治愈有充足的人能够准确的为病人提供标准化疗，并能够区分哪些病人应该被免费每个单位门诊医生及督导员的数量对病人开展免费的标准化疗接受免费的病人数量占应接受免费病人数量的百分比（%）%的门诊医生及督导员能够准确的执行这项政策%的病人治疗方案正确资金保障提供给病人免费治疗的资金占实际需求资金的百分比（%）对病人开展免费的标准化疗接受免费的标准化疗的病人数量提供给病人免费治疗的资金占全部提供资金的百分比（%）化疗覆盖率设备保障（包括门诊屋、药库、X光机等）能够有相应设备对病人进行治疗的单位数占全部机构数的百分比（%）收集、报告治疗病人的数据%的县级单位报告了病人治疗情况不间断提供有质量保证的药物投入过程产出产品/服务指标产品/服务指标指标计划年度药品供应计划需求测算；调整药品需求测算的准确性；药品调整的及时性持续、不间断的药品供应药品管理指南可操作性、实用性对各级结防机构的药品管理人员进行培训开展培训的单位数免费抗结核药品缺货时间的平均百分比；接受培训人数接受正确治疗方案的结核病人百分比。药品管理人员各级有固定人员负责药品管理各级药品管理人员职责人员考核情况经费保障可持续性；经费来源和数量采购药品采购药品数量药品管理药品管理制度药品储存、发放和出入库管理免费抗结核药品过期或破损的百分比；帐物相符率报告信息系统建立药品报告信息系统及时准确报告药品管理信息正确报告各类药品的平均百分比结核病健康教育投入过程产出产品/服务指标产品/服务产品/服务指标健康促进策略的出台与国际接轨符合中国国情的策略培训各级人员省、地/县/乡/村三级健康教育人员的培训比例结核病特定知识知晓率工具箱的开发及更新责任明确的工作计划各级开展宣教活动各级宣教活动完成率结防机构与其他部门的协调人均经费各部门开展宣教活动各部门宣教活动的完成率经费的投入作为日常督导工作的内容之一各级督导率健康教育效果评价特定调查完成情况M&E指标内容内容质量特点指标标准计算方法资料来源负责人时间投入经费保证工作需求专项经费到位率100%实际到位数/应到位数季报表单位领导每季度机构机构能力满足工作需求结防机构组建率100%已建机构数/应建机构数专题调查单位领导不定期活动培训提高村医防治水平村医培训率100%接受培训数/村医数季报负责培训人员每季度督导及时高质量的督导活动督导完成率100%督导县区数/应督导县区数季报负责督导的人员每季度产出病人发现尽可能多地发现病人初诊病人占人口的比例3‰初诊病人数/人口季报领导/门诊医生每季度病人治疗使确诊的病人接受治疗新涂阳病人接受治疗率%95%接受治疗数/登记数季报门诊医生每季度内容质量特点指标标准计算方法资料来源负责人时间结果病人发现尽可能多地发现病人病人发现率70%发现病人数/发病数季报领导/门诊医生每季度病人治疗使病人得到治愈新涂阳病人治愈率%85%治愈数/登记数季报门诊医生每季度效果患病率尽可能多地发现病人初诊病人占人口的比例下降一半患病人数/检查人数，或加权计算专题调查领导/专业机构不定期死亡率使确诊的病人接受治疗新涂阳病人接受治疗率%下降一半死亡数/检查人数，或加权计算专题调查领导/专业机构不定期选择指标基于规划目的和目标考虑指标的实用性（能够实际衡量你感兴趣的变化或进展）考虑数据收集的可行性（费用和实际性）考虑可比性（不同时间和跨地域是可比的）考虑在哪个级别使用（国家和省或下级）选择指标(indicator)的标准合理指标应该衡量想要获得的状况或结果可信用多于1种方法测量同一状况或结果产生相同的结果特异是衡量计划的状态或结果敏感能够反映观察下的状态或结果的变化可操作按照规划起草和实验并有参考标准的定义进行计算可提供测量指标的费用是可以提供的可行按照计划能够进行信息的收集可比较应该是可比较的，包括时间、地理等条件四、资料收集的方法完善的监测评价体系，缺少不了完整的资料，而好的资料又来源于优秀的收集方法。即力求于方便、易行，便能获得有效资料的方法。在结核病规划监测体系当中，主要存在三种方法：（一）利用规划报表我国现行的结核病防治规划报表包括月报、季报和年报。月报表涉及内容主要有病人发现、登记报告，以及病人转诊追踪情况。作为常规报表，月报表为结核病规划提供了最基本的连续型资料，能及时反应各级的病人发现工作；季报表要求各级（省、地市和县级）在每季度初上报上季度的工作情况，该表涉及内容广泛，包括病人发现、治疗管理、治疗转归、药品供应、培训工作等各个方面。利用季报表是目前获得资料，开展结核病监测工作的重要方法之一。（二）现场督导报表中得不到的信息，常常利用现场督导的方法获取。例如：病例记录的质量、实验室的操作、涂阴病人的诊断质量、DOT的质量、医院的漏报等。基层对有关工作的建议。（三）通过现场和专题调研在开展监测评价工作当中，往往需要一些专题资料，如设备使用状况、工作人员配置情况，项目经费支出情况等资料。对于这些资料的收集，可采用现场调查和专题调研的方法。具体通过现场观察、询问或下发文件的形式获得第一手资料。结核病控制效果的评价常使用患病率、知晓率等专题调查。通常来说，使用该方法应先针对所需资料设计好调查问卷或调查表格，以方便资料获得。（四）回顾现有资料我们在对资料进行分析，通常要使用既往资料作比较。对于这些资料，收集方法主要通过文献检索、期刊查询等。随着电子网络的日益普及，这些资料均可通过网络快速而准确地获得，同时，一些基本资料（如年度人口数、人群年龄分布等）也可通过网络信息轻易得到或更新。值得一提的是，我国结核病规划已于2004年启动了疾病监测信息报告系统（即大疫情网络直报系统）和结核病专报系统，随着该两个系统的完善，我们结核病规划所需的大部分资料可通过其直接获得。指标的特点有清晰的定义正确的计算公式对结果有明确的解释，优点与不足收集的方法或资料来源收集的频度新涂阳病人任务完成率定义：指一定地区，一定时间（一年），在一定人群中发现和登记的新涂阳肺结核病人数占年度计划发现新涂阳人数的百分比。公式