第二十一章综合评价(Applicationofsyntheticevaluationmethod)要求1.掌握评价方法的一般操作步骤2.熟练掌握层次分析法3.了解TOPSIS法第一节综合评价概述一.基本概念1.综合评价的意义、任务与内容综合评价:对一个复杂系统的多个指标通过对照某些标准来判断观测结果,并赋予这种结果以一定的意义和价值过程。意义:①提高管理决策的科学性,推动医学科学的发展②促进人们思想观念的变化③促进理论研究水平的提高任务及内容定量评价定性评价按评价手段诊断预后转归疗效临床评价环境营养防疫健康卫生评价政策经济科研教学管理评价评价领域预评价中期评价终结评价评价方式任务及内容2.综合评价的一般步骤原则按统计工作的一般步骤:(设计→资料收集→资料整理→分析评价)(1)筛选制定指标评价体系(2)确定各评价指标的权重(3)确定各指标的评价等级及界限(4)选定适合的综合评价方法,建立评价数学模型(5)对评价结果进行综合分析和判断,作出评价等级(结果)Apgar新生儿缺氧状况评价方法1.指标:心率、呼吸、肌张力、反射、皮肤颜色2.权重相等3.评分等级:0、1、24.累计评分法模型5.评价等级:8~10分正常;4~7分轻度缺氧;0~3分严重缺氧。出生后1分钟内评分二.评价指标的筛选与权重估计指标对评价的影响程度是不一样的,因此要对指标的作用大小赋给一定的数值。这个数值就是指标权重。确定指标权重的方法归纳起来有主观定权法和客观定权法。主观定权法包括:专家评分法、成对比较法、Saaty权重法等;客观法包括:模糊定权法、秩和比法、熵权法、相关系数法等。选择哪种权重方法应取决于较为合理的专业解释。下面介绍专家评分法、Saaty法、客观法。1.专家评分法(specialist-scoredmethod)(1)评分方式个人判断:分别征求专家个人意见(个人打分)→汇总→按某种方法确定各指标权重专家会议:召开专家集体会议(讨论)→汇总→按某种方法确定各指标权重(2)评价指标权重的确定常见有100分制、10分制、等差评分、等比评分例21-1选定6个专家对4个评价指标进行权重评估,得分如下:分析:若不考虑专家权威程度,则各评价指标权重比例为A:B:C:D=75:57:33:18→(归一化)A:B:C:D=0.41:0.31:0.18:0.10擅长系数与一致性系数1.擅长系数q表示某一专家对所提问题作出正确应答的概率,通常在选择专家时,q不应低于0.80。q的表达式为q=1-2pp:为答错概率2.专家意见一致性系数w反映专家组对指标权重评估的一致性程度。0≤w≤1,w0.75表明专家对各指标评分的一致性较好。举例以上题为例,介绍方法:设有m个专家,n个评价指标862.0])1523()155.18()155.11()157[()22(6)44(6125.2)()()(1212/)()(2154/235.185.117235.185.117112111/1222233233223221ckkkjcjDCBAnjjijjijwttmnnmTTwwnnmTTwwTTTTTAnTTRTR),用校正公式:本例,因有相同秩次(进行校正:当有相同秩次时,要对计算一致性系数))(平均等级和,的秩和本例指标指标平均等级和求:各指标秩和秩:,相同评分时,取平均值从小到大编秩按专家对各指标的评分)2.Saaty权重法用系统分析的方法,对评价指标依评价目的所确定的总目标进行分解,按各级评价子目标的优劣等级确定权重。其详细方法见第二节。3.客观法在指标筛选的辅助方法中,某些指标权重可由客观信息提供:如多元线性回归分析的自变量标准化偏回归系数、主成分分析的指标贡献率,或根据专业知识及要达到的目标,自行设计权重公式。4.组合权重当指标可分层时,则次层指标的权重既要考虑在本层的分配,又要考虑指标对高层作用的权重分配,这就是组合权重。方法有两种。(1)代数和法上表中,第一层5个指标是:声音、图象、经济性、安全性、造型;第二层3个指标是:声像系统、控制系统、驱动系统则第二层指标组合权重为:声像系统组合权重=0.18×0.4+0.32×0.6+0.28×0.3+0.12×0.2+0.10×0.1=0.382控制系统组合权重=0.18×0.3+0.32×0.3+0.28×0.4+0.12×0.2+0.10×0.5=0.336驱动系统组合权重=0.18×0.3+0.32×0.1+0.28×0.3+0.12×0.6+0.10×0.4=0.282(2)乘积法第二节几种综合评价方法简介广义地来讲,医学统计方法都可用于综合评价。因为任何统计指标都综合了一定的医学信息。随着计算机的硬件和软件的发展,多元回归、判别分析、聚类分析、因子分析、主成分分析等在疾病诊断、治疗、预防和保健方面得到成功应用。此外,在医疗卫生工作中,人们还采用了一些较为简单、快速、实用的综合评价方法。如:综合评分法、综合指数法、层次分析法、Topsis法。其它还有:灰色模型法、优序法、秩和比法、密切值法等。一.综合评分法综合评分法(syntheticscoredmethod)是建立在专家评价法基础上的一种重要的综合评价方法。首先根据评价目的及评价对象的特征选定必要的评价指标,逐个指标订出评价等级,每个等级的标准用分值表示。然后以恰当的方式确定各评价指标的权数,并选定累计总分的方案以及综合评价等级的总分值范围,以此为准则,对评价对象进行分析和评价,以决定优劣取舍。1.指标各等级分值的确定方法(1)专家评分法由专家按评价等级的优劣顺序采取从高分到低分的取值原则。多用于定性资料或半定量资料。(2)离差法采用均数加减标准差的方式划分评价等级并赋以分值。多用于正态分布资料的计量资料。(3)百分位数法采用以某些特定的百分位数值划分评价等级的方式来划分评价等级。多用于不明分布或偏态分布的计量资料。(4)标准分法其原理同于离差法,但评价等级可分得更多更细。2.评价总分计算法minjijijniiiiniiijijiiminjijminjijijiniiniiiiiiSSSSSSSSSSSSSnjjimSSSSSSin1111111111;5)(4)(,),...,2,1(3()2(()1(,加乘法连乘法累加法,则的权重为或的权重为设)加权法:(组内积,组间和)乘加法:(组内和,组间积则的评分为个指标个指标群中第个指标群,第设有)加乘法:(敏度较高)可使评分差距加大,灵连乘法:)方法简单,灵敏度较差累加法:为评价总分个指标的得分为个评价指标,第设有应用举例(1)8个指标(2)每个指标划分为5个等级(3)指标等级的评分由高到低为:1,0.75,0.50,0.25,0.00(4)各指标的权重见最后一列(5)评价总分采用(加权)累加法(6)评价等级划分采取高者为优二.综合指数法综合指数法(syntheticindexmethod)是应用一种特定的相对数—指数,用来测定一个变量对于另一个特定变量值大小的相对数。如环境质量指数、物价指数、股票指数等。综合指数评价法已广泛应用于预防医学领域(如环境评价、营养评价、体质与体格发育评价)、社会医学领域、卫生管理学和临床医学领域。1.分类(1)个体指数---反映某一事物或现象的动态变化的指数(2)总指数---综合反映多种事物或现象的动态平均变化程度的指数,中性指标)(低优指标)(高优指标)(均值、参考值)为指标标准值(常为平为该指标的指数,为某指标测量值,设指数属性:1MxMMxMMxyMyx综合指数设有n组指标,共m个指标,综合指数I的计算公式:nimjijijnimjijmiimiiiinyIyIyIynI111111432111)加权法()乘加法()累积平均()累加平均(2.基本步骤(1)选择恰当的指标(2)确定权重(3)规定标准M(4)合理划分评价等级(5)检验评价模型的可靠性举例下:评价等级及评价结果如;当大气环境质量较差时;当大气环境质量较好时均等于标准浓度限值;,当各污染物实测浓度此指数的物理意义是:标准浓度限值。代表不同污染物的国家,,,浓度;代表不同污染物的实测,,,的个数)超表示实测超标浓度(代表某污染物最大超标值;代表某污染物表示最高浓度项,其中表示平均浓度项;表示超标浓度项;式中:)计算公式:(出苏州市大气质量指数结合苏州市的特点,提设计的大气质量指数,学数法。根据上海医科大进行评价,采用综合指年的大气环境污染程度拟对苏州市例苏超超苏苏,1,11......,,...,2,1max,,...,,max,1,max11983~1980221212122111122233PSSSCCCiCniACASCSCSCzSCkySCnxyxzyzyzzyzxPPkkAiAAkkkiiiAniAiA结果三.层次分析法层次分析法(analysishierarchyprocess,简称AHP)是由美国科学家T.L.Saaty于20世纪70年代提出,是用系统分析的方法,对评价对象依评价目的所确定的总目标进行连续性分解,得到各级(各层)评价子目标,并以最下层作为衡量目标达到程度的评价指标,然后依据这些指标计算出一综合评分指数对评价对象的总目标进行评价,依其大小来确定评价对象的优劣等级。目前该法多用于卫生事业管理方面,如医院工作质量评价、人事绩效评价等。基本步骤例21-3对医院工作质量进行综合评价分析:目标与指标体系1.建立指标体系及层次,构造目标图2.计算权重系数3.计算综合评分指数GISaaty评分标准目标树图各层次评分标准对比打分相对重要程度说明1同等重要两者对目标的贡献相同3略为重要一个比另一个评价稍有利5基本重要一个比另一个评价更为有利7确实重要一个比另一个评价稍有利,并得到实践检验9绝对重要重要程度明显2,4,6,8两相邻程度的中间值需要折衷时采用计算权重权重计算步骤(1)对目标数自上而下分层次一一打分,建立判断矩阵(2)计算初始权重系数W’i1047.0,2583.0,6370.04054.00000.14462.24462.2,,34054.0,0000.1,4662.2531,3211'''3'23'121'同理本例计算归一化权重系数)(同理其它各层权重系数层次评价目标及权重系数第二层医疗制度医疗质量病床使用0.16340.53960.2970第三层疗效重症收容0.66700.3330(4)用连乘法计算各评价指标(最下层)的组合权重系数1047.02583.01041.01145.02292.06670.05396.06370.01892.00.12970.06370.0654321CCCCCC膳食供应优良率权重护理制度执行率权重医疗制度执行率权重重症有效率权重治疗有效率权重,类似病床使用率权重计算综合评分指数GI为评价指标个数个评价指标测量值,为第式中niPPCGIiniii,1举例某市6所医院工作质量综合评价评价指标权重系数医院PiCiABCDEF病床使用率↑0.189295.092.094.895.689.177.4治疗有效率↑0.229288.191.290.094.093.692.2重症收容率↑0.114515.48.37.93.19.53.7医疗制度执行优良率↑0.104174.753.461.950.061.967.1护理制度执行优良率↑0.258354.720.726.120.027.435.5膳食供应优良率↑0.104741.341.422.820.034.030.3综合评分指数GI66.254.555.052.556.5