系统评价理论与方法

LOGO系统评价第五章系统评价方法卢亚丽系统评价是系统分析过程中的一个重要环节，是系统分析和决策活动的结合点，系统评价提供的结论是决策者进行决策的基础和依据，系统评价在系统应用研究中占有重要地位。所谓系统评价可以理解为：根据明确的系统目标、结构和系统属性，用有效的标准测出系统的性质和状态的活动。系统评价的目的是为了描述系统状态和方案效果。有效的系统评价为决策者做出正确的决策提供科学的依据。任何评价都有其评价的目标和内容，这些目标和内容的提出、问题的确定又都取决于总的评价思想，评价思想的转变必然导致评价内容和方法的不同，而环境的演变、社会和科学的发展又对评价思想的确立起着巨大的推动或制约作用。追求单一目标的思想如武器系统早期的评价，关键是要求可靠性经济利益思想在工程项目的决策中起重要作用系统评价的思想从政治、经济、社会、技术、自然和生态环境规划的思想对工程建设等决策活动的事先评价越来越多总的来说，系统评价的思想是利用控制论和系统的观点对整体进行评价。一、系统评价要素二、系统评价的程序与方法三、综合评价指标与权重的确定四、系统评价的主要方法第一节系统评价原理一、系统评价要素系统评价（评价→价值）对系统方案满足系统目标程度的综合分析及判定。评价对象（What）指接受评价的事物、行为或对象系统，如待开发的产品、待建设或建设中的项目等。评价主体（Who）是指评价对象系统价值大小的个体或集体。效用：某主体对某种利益和损失所独有的感觉及反应。评价目的（Why）评价时期（When）期初评价、期中评价、期末评价、跟踪评价评价地点（Where）评价方法（How）系统评价是多方面要素（5W1H）所构成的问题复合体。二、程序和方法认识评价问题(5W1H)搜集、整理、分析资料方案准则主体选择评价方法、建立评价模型分析、计算评价值综合评价决策三、综合评价指标及权重的确定研制新生儿缺氧状况的Apgar评分方法研究目的据专业知识，选择5个指标①心率②呼吸③肌张力④反射⑤皮肤颜色5个指标具有相等权重选择指标确定权重以累加法累计总分：8～10分为正常；4～7分为轻度缺氧；0～3分为重度缺氧。确定指标评价等级及界限建立模型1、评价指标的基本要求基本要求①代表性：各层次指标能最好地表达所代表的层次。②确定性：指指标值确定，其高低在评价中有确切含义。③区别能力/灵敏性：即指标值有一定的波动范围，而且其高低在评价中有确切的含义。④独立性：即选入的指标各有所用，相互不能替代。选择综合评价指标(一)评价指标的确定2、系统分析法及文献资料分析优选法筛选指标缺乏有关历史资料，或指标难以数量化时系统分析法(systematicanalysismethod)：是一种常用的凭经验挑选指标的方法，首先将所有备选指标按系统（或属性、类别）划分，再通过座谈或填调查表的方法获得对各指标的专家评分，确定主次，再从各系统内挑选主要的指标作为评价指标。文献资料分析优选法：即全面查阅有关评价指标设置的文献资料，分析各指标的优缺点并加以取舍。3、常用客观筛选指标方法逐个指标进行假设检验的方法：是在掌握有关历史资料基础上，依照可能的评价结果将评价对象分组，并对各指标进行假设检验，挑选有统计意义的指标作为评价指标。多元回归与逐步回归法：多元回归分析挑选标准化偏回归系数绝对值较大或偏回归系数假设检验有显著性的指标作为评价指标；逐步回归有自动挑选主要影响指标的功能，是目前最常用的指标挑选方法。指标聚类法：在存在众多指标的情况下，可将相似指标聚成类，再从每类中找一个典型指标作为代表，从而用少量几个典型指标作为评价指标来代表原来众多的指标建立评价模型。4、指标筛选建议在实际工作中，往往综合使用多种方法进行指标筛选，在获得较为满意的专业解释的基础上，优先考虑那些被多种方法同时选入的指标。(二)评价指标的权重的确定确定指标权重方法主观定权法客观定权法专家评分法成对比较法Saaty权重法秩和比法相关系数法其它方法模糊定权法熵权法定权带有一定的主观性，用不同方法确定的权重分配，可能不尽一致，这将导致权重分配的不确定性，最终可能导致评价结果的不确定性。因而在实际工作中，不论用哪种方法确定权重分配，都应当依赖于较为合理的专业解释。1、专家评分法评分方式1）专家个人判断即分别征求专家个人意见，在专家各自单独给评价指标的相对重要性打分的基础上，进行统计处理，以确定各指标的权重。优点：专家打分时不受外界影响，没有心理压力，可以最大限度地发挥个人创造能力。缺点：仅凭个人判断，易受专家知识深度与广度的影响，难免带有片面性。2）专家会议即召开所有被挑选专家，以集体讨论的方式进行评分，然后再以统计手段确定各指标的权重。优点：可以交换意见，相互启发，弥补个人之不足。缺点：主要表现在易受心理因素的影响，如屈从于权威和大多数人的意见，受劝说性意见的影响，不愿公开修正已发表的意见等等。75.056.733.318.35040301090802030607030108060503070404020100503010指标A指标B指标C指标D平均分654321评价对象75.056.733.318.35040301090802030607030108060503070404020100503010指标A指标B指标C指标D平均分654321评价对象不考虑专家权威程度：权重分别是0.41,0.31,0.18,0.102、常用的客观定权方法某些统计方法分析结果，可提供有关因素权重分配的客观信息:1)多元回归分析及逐步回归分析中，各自变量的标准化偏回归系数值以及由此而推算的贡献率；2)计数资料判别分析中的指数，计量资料判别分析中各因子的贡献率；3)主成分分析中得到的因子载荷和贡献率。某些特定的统计方法例如某死因后期望寿命的增量、减寿年数(PotentialYearsofLifeLost,PYLL)都可为各死因的相对重要性提供有关权重分配的信息献率。3、组合权重及其计算方法组合权重(combinedweight)当评价指标可分层时，即某项或某几项评价指标可再分为次级评价指标时，则次级评价指标的权重既应考虑其本身在所有次级评价指标中的权重分配，又要考虑其高层评价指标在所有评价指标中的权重分配。组合权重有两种求法：1)代数和法2)乘积法组合权重计算表0.282--0.336--0.382--1.00合计0.0400.40.0500.50.0100.10.10造型0.0720.60.0240.20.0240.20.12安全性0.0840.30.1120.40.0840.30.28经济性0.0320.10.0960.30.1920.60.32图像0.0540.30.0540.30.0720.40.18声音(8)(7)(6)(5)(4)(3)q.s3权重s1q.s2权重s1q.s1权重s1(2)(1)驱动系统控制系统声像系统权重q评价指标0.282--0.336--0.382--1.00合计0.0400.40.0500.50.0100.10.10造型0.0720.60.0240.20.0240.20.12安全性0.0840.30.1120.40.0840.30.28经济性0.0320.10.0960.30.1920.60.32图像0.0540.30.0540.30.0720.40.18声音(8)(7)(6)(5)(4)(3)q.s3权重s1q.s2权重s1q.s1权重s1(2)(1)驱动系统控制系统声像系统权重q评价指标4、权重估计注意事项权重估计仍不是很完美，权重估计结果应满足专业解释；尽量在专业领域中寻找专业评分方法；尽量排除试验者和受试者的主观性，尽量选用客观方法；采用多种方法进行权重，在获得较为满意的专业解释的基础上，优先考虑多个方法同时选入的指标。(一)关联矩阵(原理性方法)(二)逐对比较(三)古林法(四)层次分析法(五)模糊综合评价法四、主要的系统评价方法第二节关联矩阵法关联矩阵法主要是用矩阵的形式来表示各替代方案有关评价指标及其重要度与方案关于具体指标的价值评定量之间的关系。Vi1,Vi2,Vi3,……Vin,是第i个替代方案Ai的关于指标Xj的价值评定量。n21ViX1X2…XnmjjjmjjjnjjjVVVVVV22111XjijVijAiA1A2Am…………………...?ij逐对比较法、古林法Vij=?方案预期结果例表评价指标Xj替代方案Ai期望利润（万元）产品成品率（%）市场占有率（%）投资费用（万元）产品外观自行设计（A1）6509530110美观国外引进（A2）7309735180比较美观改建（A3）520922550美观逐对比较法例表评价指标得分序号累计得分权重12345678910期望利润（X1）111140.4产品成品率（X2）011130.3市场占有率（X3）000110.1投资费用（X4）001120.2产品外观（X5）000000.0一、逐对比较法评价尺度例表评价尺度(得分)评价指标54321期望利润（万元）800以上701-800601-700501-600500以下产品成品率（%）97以上96-9791-9586-9085以下市场占有率（%）40以上35-3930-3425-2925以下投资费用（万元）20以下21-8081-120121-160160以上产品外观非常美观美观比较美观一般不美观关联矩阵表（逐对比较法）期望利润产品成品率市场占有率投资费用产品外观Vi0.40.30.10.20.0自行设计(A1)333343.0国外引进(A2)444133.4改建(A3)232442.7VijAijXj二、古林法1、确定指标的权重j30.54序号评价指标RjKj1期望利润180.5802产品成品率60.1943市场占有率20.0654投资费用0.50.1295产品外观—10.032合计311.0003RjKjWj基准化归一化古林法2、求Vij例表序号（j）评价指标替代方案RijKijVij1期望利润A10.8901.2500.342A21.4041.4040.384A3—1.0000.2742产品成品率A10.9791.0320.334A21.0541.0540.342A3—1.0000.3243市场占有率A10.8571.2000.333A21.4001.4000.389A3—1.0000.2784投资费用A11.6360.4550.263A20.2870.2870.160A3—1.0000.5775产品外观A11.3331.0000.364A20.7500.7500.272A3—1.0000.364投资费用希望越小越好，故其比例取倒数。关联矩阵例表（古林法）VijAij期望利润产品成品率市场占有率投资费用产品外观Vi0.5800.1940.0650.1290.032A10.3420.3840.2740.3340.3420.3240.3330.3890.2780.2630.1600.5770.3640.2720.3640.3300.3340.326A2A3Xj•一、层次分析法概述•二、层次分析法的基本原理•三、层次分析法的步骤和方法•四、层次分析法的广泛应用•五、应用层次分析法的注意事项第三节层次分析法一、层次分析法概述人们在对社会、经济以及管理领域的问题进行系统分析时，面临的经常是一个由相互关联、相互制约的众多因素构成的复杂系统。层次分析法则为研究这类复杂的系统，提供了一种新的、简洁的、实用的决策方法。层次分析法(AHP法)是一种解决多目标的复杂问题的定性与定量相结合的决策分析方法。该方法将定量分析与定性分析结合起来，用决策者的经验判断各衡量目标能否实现的标准之间的相对重要程度，并合理地给出每个决策方案的每个标准的权数，利用权数求出各方案的优劣次序，比较有效地应用于那些难以用定量方法解决的课题。层次分析法（AHP）是美国运筹学家匹茨堡大学教授萨蒂(T.L.Saaty)于上世纪70年代初，为美国国防部研究“根据各个工业部