社区卫生服务适宜技术试点评价方案中国社区卫生协会2007年11月23日目录一、目的二、项目原理及项目描述三、评价指标四、评价方法五、样本量及数据收集方法六、时间安排七、评价活动八、评估的组织管理:一、目的二、项目原理及项目描述三、评价指标四、评价方法五、样本量及数据收集方法六、时间安排七、评价活动八、评估的组织管理:目的•将在我国东、中、西部选择十个城市开展卫生部社区卫生服务适宜技术试点工作方案。•对所制定的社区卫生服务适宜技术规范的实施效果进行评价以验证其:–可行性、–有效性、–科学性、–可持续性和–可推广性,•并根据应用后的反馈对规范进行修改完善,为适宜技术的进一步推广应用提供参考依据二、项目原理及项目描述(一)项目原理开展适宜技术培训提高医务人员服务能力开展规范的社区卫生服务支持性环境患者的被管理疾病得到控制管理对象的KAP改善机构绩效水平提高医疗费用趋于合理二、项目原理及项目描述(续)•项目设计理论假设:通过适宜技术的实施,试点区可能会发生以下变化:–卫生行政部门管理人员的知信行会发生改变–社区卫生服务机构管理人员的知信行会发生改变–社区卫生服务机构医务人员的知信行会发生改变–社区卫生服务机构的管理水平得到进一步改善–社区卫生服务机构的服务质量得到进一步提高–相关服务对象的健康状况会得到进一步改善–相关服务对象的医疗费用得到合理控制,成本效果比进一步改进–利益相关者满意度提高–社区卫生服务机构绩效得到改善开展适宜技术培训提高医务人员服务能力开展规范的社区卫生服务支持性环境患者的被管理疾病得到控制管理对象的KAP改善机构绩效水平提高医疗费用趋于合理二、项目原理及项目描述(续)•(二)评价内容:根据项目计划,本方案评价的内容为第一批社区卫生服务适宜技术规范,包括:–社区高血压病例管理适宜技术–社区糖尿病病例管理适宜技术–社区结核病病例管理适宜技术–社区精神分裂症病例管理适宜技术–社区慢性阻塞性肺病病例管理适宜技术–社区中老年人健康管理适宜技术–社区0-3岁儿童健康管理适宜技术–社区育龄期和围绝经期妇女健康管理适宜技术–社区孕产妇健康管理适宜技术–社区健康档案适宜技术二、项目原理及项目描述(续)•(三)评价对象为:–医务人员:•通过考核,对试点机构所有医务人员进行评价。–管理对象:•通过对随访数据的收集,对社区内纳入管理范围的高血压、糖尿病、结核病、精神分裂症、COPD患者,中老年人、0-3岁儿童、妇女,孕产妇等服务对象的管理效果进行分析。–社区居民:•通过社区卫生诊断,在当地卫生行政部门、街道办事处和居委会的组织协调下,在监测机构所辖监测社区内,对社区居民进行入户调查和分析。–社区卫生服务机构:•通过社区卫生诊断,对社区卫生服务机构的运行状况、资源配置和人员素质等方面进行评价。三、评价指标•(一)对培训的评价•(二)对实施过程的评价•(三)对实施效果的评价三、评价指标(续)•(一)对培训的评价–某项适宜技术培训机构覆盖率–某项适宜技术培训人员覆盖率–相关医学知识知晓率–适宜技术相关知识知晓率–适宜技术技能掌握率–培训对象对培训的满意度三、评价指标(续)•(二)对实施过程的评价–某项适宜技术机构实施率–某项适宜技术人员实施率–某项适宜技术的机构管理人数–某项适宜技术的人均管理人数–某项适宜技术的管理人数月增加率–随访记录合格率–随访时间正确率–转诊建议正确率(三)效果的评价•管理对象–被管理疾病的主要指标控制率–相应健康知识知晓率–相应健康行为改变率–随访依从率–医学建议依从率–成本效果比(三)效果的评价(续)•社区居民–社区卫生服务利用率–社区首诊率–健康知识知晓率–健康行为改善率–高血压自身知晓率–对社区卫生服务机构的满意度–对社区卫生服务医务人员的满意度(三)效果的评价(续)•医务人员–对适宜技术的依从率–对适宜技术的满意度–对健康档案的满意度(三)效果的评价(续)•社区卫生服务机构–服务量增长率–药品占收入比例–单病种处方费用变化率–卫生行政部门管理人员满意度–机构管理人员的满意度四、评价方法•1、对规范管理对象的效果评价–定期随访运行123456789……N实施:准备培训基线123456789……N终线•对社区居民、对机构所产生的效果评价–前后比较试点前的基线干预终线调查OTOWeobserveanoutcomeindicator,Y1(observedl)Y0t=0Intervention试点干预对效果指标的作用:Y1(observed)Y0t=0t=1时间Time可观察到试点干预Intervention但需要知道如果不开展试点干预3年后的效果指标处在什么位置Y1(observedl)Y1*(counterfactual)Y0t=0t=1timeIntervention如果不干预,效果指标的位置但我们要么只能知道干预后的状况,无法得到如果不做试点会如何的数据Y1效果Impact=Y1-Y1*Y1*Y0t=0t=1time对效果指标变化的解释•导致的原因–混杂因素导致(confounding)–抽样误差导致(samplingerror)–测量偏倚导致(measurementbias)–项目干预导致(intervention)•项目评价的任务:评价项目的净效果–排除混杂因素–排除抽样误差–避免测量偏倚前后比较评价的方法学某市献血宣传项目某省艾滋病控制项目19952000200120025/10万15/10万1万1.2万袋2、所以,效果评价的重要任务是:控制混杂因、排除抽样误差,来估算完全由项目带来的净效果1、前、后直接比较的误区:献血项目导致了献血量的提高爱滋病控制项目导致爱滋病更加流行类实验研究设计quasi-experimentaldesignXONR:XONR:OOXONR:OXONR:OO虚拟变量的应用,0:项目干预前,1:项目干预后0:对照组,1:项目干预组Y=y=b0+b1T+b2x1+...bkxk+u五、样本量及数据收集方法样本量数据收集方法数据收集时间承担机构试点区基本情况基线调查和终线调查时由中国社区卫生协会负责组织,试点区卫生行政部门负责提供。试点区社区卫生服务机构基本情况,第一、二次社区卫生诊断及中期评估时。由中国社区卫生协会负责组织,试点区社区卫生服务机构机构负责提供。机构(每个试点区)全部社区卫生服务机构试点区社区卫生服务机构的财务数据收集。每年一次。同上五、样本量及数据收集方法(续)机构培训记录第一次培训和强化培训后项目提供“机构培训记录表”,由试点区社区卫生服务机构负责填写上报中国社区卫生协会。培训前后考试第一次培训和强化培训后项目提供统一试卷,省级专家组组织进行技能评估基线、中期调查、中期调查时由中国社区卫生协会负责,省级专家实施医务人员全部社区卫生服务机构内全部专业技术人员随访时间的规范性、病历记录和转诊记录完整性、正确性,管理对象的依从性等评价通过随访资料收集进行。每季度一次由社区卫生服务机构负责收集上报中国社区卫生协会。五、样本量及数据收集方法(续)行政管理人员区卫生局主管领导行政管理人员知、信、行访谈基线调查和终线调查时由中国社区卫生协会负责组织试点社区卫生服务机构负责人社区卫生服务机构管理人员知、信、行访谈基线调查和终线调查时由中国社区卫生协会负责组织。第一次社区卫生诊断,作为基线调查资料。项目开始时进行项目提供社区卫生诊断问卷和录入数据库,由中国社区卫生协会负责组织,国家级专家和省级专家负责指导和质量控制,监测社区中社区卫生服务机构负责实施。居民1000户第二次社区卫生诊断,作为终期调查资料。项目结束时进行。同上五、样本量及数据收集方法(续)管理对象知信行问卷项目区社区卫生服务机构被管理对象在新纳入项目适宜技术管理时,先请其填写知信行问卷,每12个月(结核病患者和孕产妇和儿童在管理结束时)和项目结束时,管理对象再分别次填写知信行问卷和满意度调查问卷。项目提供知信行问卷和满意度调查问卷,由家庭医生负责协调管理对象填写,监测机构负责人负责监督检查,收集上报中国社区卫生协会。周期性健康检查记录、随访记录(包括用药记录)医生负责填写随访表,监测机构每季度收集检查记录、随访表的复印件监测机构负责人负责收集、上报中国社区卫生协会门诊处方监测机构收集患者(包括管理对象和非管理对象)3个月期间的就诊的病种处方,随机抽50份监测机构负责保存、上报。中国社区卫生协会和项目省级专家负责抽查高血压1200人以上自我健康状况记录表请管理对象自我记录一年内的疾病、及花费项目提供健康记录表、家庭医生督促管理对象填写、监督机构负责收集、上报给中国社区卫生协会五、样本量及数据收集方法(续)管理对象知信行问卷项目区社区卫生服务机构被管理对象在新纳入项目适宜技术管理时,先请其填写知信行问卷,每12个月(结核病患者和孕产妇和儿童在管理结束时)和项目结束时,管理对象再分别次填写知信行问卷和满意度调查问卷。项目提供知信行问卷和满意度调查问卷,由家庭医生负责协调管理对象填写,监测机构负责人负责监督检查,收集上报中国社区卫生协会。周期性健康检查记录、随访记录(包括用药记录)医生负责填写随访表,监测机构每季度收集检查记录、随访表的复印件监测机构负责人负责收集、上报中国社区卫生协会门诊处方监测机构收集患者(包括管理对象和非管理对象)3个月期间的就诊的病种处方,随机抽50份监测机构负责保存、上报。中国社区卫生协会和项目省级专家负责抽查糖尿病300人以上自我健康状况记录表请管理对象自我记录一年内的疾病、及花费项目提供健康记录表、家庭医生督促管理对象填写、监督机构负责收集、上报给中国社区卫生协会五、样本量及数据收集方法(续)规范样本量数据收集方法数据收集时间承担机构精神分裂症预计100人左右同高血压同高血压同高血压结核病累计50人左右同高血压同高血压同高血压COPD150人以上同高血压同高血压同高血压孕产妇累计500人左右同高血压同高血压同高血压妇女累计750以上同高血压同高血压同高血压儿童累计2000人左右同高血压同高血压同高血压中老年累计1500人以上同高血压同高血压同高血压•儿童、孕产妇、精分、结核:–进入管理时填写,结束时填写•中老年、慢病:–同一份问卷–前半部分通用–后半部分:针对各类规范管理的人群六、时间安排时间活动2007年10月第一次社区卫生诊断(基线调查)2007年11月第一次社区卫生诊断(同上)师资培训2007年12月省级培训2008年4月培训效果及实施情况评估强化培训2009年1月中期评估2010年9月第二次社区卫生诊断(终线调查)七、评价活动•(一)第一次社区卫生诊断–试点地区情况基线调查–试点机构基线调查–医务人员考试和调查–居民调查–0-3岁儿童家长调查–孕产妇调查七、评价活动(续)•(二)培训–第一次和第二次培训前后对医务人员进行问卷调查•(三)实施–管理对象进入管理时进行知信行调查。–管理对象进入管理时进行全面健康检查,其后每年进行一次周期性健康检查。–管理对象接受管理时医生填写随访表,监测社区卫生服务机构每季度汇总一次,并上报。七、评价活动(续)•(四)中期评估–对医务人员进行问卷调查–医务人员技能调查–管理对象随访情况评估•(五)第二次社区卫生诊断(终期评价)(同第一次社区卫生诊断)八、评估的组织管理:•(一)领导部门–卫生部妇幼保健与社区卫生司•(二)组织部门–中国社区卫生协会社区卫生服务适宜技术推广办公室•(三)评估人员–国家级和省级专家组成员,在中国社区卫生协会的组织协调下,各级专家和其它项目参与人员均应积极对数据进行整理分析,及时发现适宜技术应用中的问题和并总结经验。•(四)协助单位–试点区及其所在省、市卫生行政部门和相关社区卫生服务机构。•项目干预的净效果:排除混杂因素、抽样误差项目开始项目结束y0y1效果Y1-Y0Y1’效果=Y1’-Y0?