IT项目绩效评价体系的研究和应用

IT项目绩效评价体系的研究和应用镇江市审计局汤晓超【点击数:537】【时间:2011-01-1411:05:23.0】摘要针对IT项目绩效审计刚刚起步以及现行审计人员在IT项目绩效审计所遇到的绩效评价困难，通过对现行评价体系的研究，提出了一种全新的IT项目绩效审计评价体系，并根据该体系建立了相应的评价模型。通过审计实务的验证，证明了该评价体系的创新性和实用性。关键词绩效审计；IT项目；评价体系；评价模型IT项目绩效审计又称为信息系统绩效审计[1]，是对一个组织利用IT资源的经济性、效率性和效果性的评价。如当今我国政府重点推出“金财、金税、金审”等电子政务工程，企业也投入资金购买或开发ERP管理系统，目的就是通过信息技术提高单位工作效率，创造更多的经济效益和社会效益。随着这些IT项目被越来越多的单位使用，这将大大降低管理成本，改善管理效益，提高管理部门的服务水平和工作效率。但在IT项目实施后，单位却难以对其应用效果及其带来的绩效进行有效评价。因此审计部门有必要对IT项目进行绩效审计，对IT项目投入、建设和应用等方面进行全面的了解和分析，建立相应的绩效评价指标体系，确定IT项目的水平及效益状况。2010年4月12日，世界审计组织IT审计工作组第6届效益审计研讨会上刘家义审计长提出“中国审计署已经确定，到2012年，所有的项目都要开展绩效审计，绩效评价指标体系必不可少。建立一个适用的、能得到业界广泛认同的衡量体系，促进IT项目绩效审计的规范化，正是世界审计组织IT审计工作组能够发挥作用之处。”由此可见，作为监督部门的审计机关，其工作手段、技术方法、组织方式乃至工作思维都要与之相适应，因此IT项目绩效审计成为绩效审计的一个重要组成部分，而IT项目绩效评价体系的建立和应用更是审计部门亟需解决的问题。本文通过研究现行IT项目绩效评价体系，提出了全新的绩效评价模型，并结合我单位09年某市公路收费系统审计案例，探讨了该指标体系的应用过程。一、IT项目绩效评价的现状1.IT项目绩效评价的层次（1）IT项目绩效评价的宏观层面。宏观评价主要是单位根据信息化总体目标的要求，建立绩效评价的标准指标体系和数据的测度方法，统一测算和颁布不同行业不同规模的标准值，作为不同行业和不同规模企业进行IT绩效横向比较的依据，以判断单位在同行业、同规模、同区域的水平地位和主要差距，更有利于绩效评价制度的科学性。目前世界上较为流行的IT项目绩效评估体系有：a.哈佛大学与世界经济论坛的“网络化准备指数”评估体系[2]；b.美国国际数据公司（IDC）“信息社会指数”评估体系[3]；c.澳大利亚“信息经济办公室指数”评估体系；d.英国电子经济评估体系；e.韩国“信息化指数”评估体系[4]等等。（2）IT项目绩效评价的微观层面。微观评价主要是以IT项目作为主要对象进行评价，即单位根据自身业务发展和信息化项目的需要，评价自身信息化实施的状态和效果。信息化在实施过程中往往分为几个不同层面：战略层、控制层、执行层，分别对应于单位的战略管理层、信息部门和具体的项目组。因此，对于IT项目绩效评价也可以根据不同管理层不同关注重点划分为三类[5]：a.以信息化战略施为基础的绩效评价；b.以信息化管理控制为基础的绩效评价；c.以信息化项目管理为基础绩效评价。2.IT项目绩效评价的复杂性IT项目实施绩效评价是对单位在生产和经营的各个环节推广和应用的IT项目对企业生产、管理和决策等的效率、水平与经营效率的影响进行全面估计、检查、测试、分析和评审，对照统一的标准，建立特定指标体系，运用数理统计、运筹学等方法，按照一定的程序，通过定量定性对比分析，对一定经营期间的IT项目的效果做出客观、公正和准确的综合评价。它包括对实际指标和计划指标进行比较，以求确定项目目标的实现程度，并对IT项目建成后产生的经济效益和社会效益进行全面的评价。IT项目实施绩效评价的复杂性[6]主要表现在以下几个方面:（1）IT项目建设具有特殊的技术经济特点：由于IT项目投资的复杂性以及投资回报主要体现在“间接效益”方面，因此，不能指望所有的IT项目投资都有可以度量的回报，并且其建设发挥作用的时间较长，有明显的滞后效应。（2）IT项目建设具有特殊的技术融合特点：由于信息技术处于不断的变化发展过程，而且变化的节奏使单位无形中承受巨大的机会风险，并且信息技术本身具有很强的渗透性特征，表现出IT项目需要与业务进行融合。信息技术具有的价值潜力，必须在单位资源整合、组织机构发生重大变革后，才能显现出来。（3）IT项目建设具有特殊的技术评价特点：IT项目的建设几乎会影响到单位内、外部各个方面的运作，因此，对其成功的评价必须考虑多方面的因素。IT项目本身的表现（例如:系统质量、信息质量等）固然重要，但更重要的是人们如何理解、使用、维护IT项目，并利用IT项目带来经济利益和社会效益。3.IT项目绩效评价主要存在的问题近年来，随着各单位加大了IT项目的资金投入，审计部门也加强了对IT项目的绩效审计，但是在实际操作中，审计人员对IT项目的绩效评价存在着较多的问题：（1）IT项目绩效评价着眼于投入角度的评价。近几年IT项目绩效审计主要是从IT项目设备、IT项目资源开发利用等投入角度综合考虑IT项目的绩效评价，但实际上对IT项目建设高投入并不意味着能够提高单位的经济效益、社会效益和竞争力，即IT项目投入与其绩效不是成正比关系，以投入为主的绩效评价难以全面和正确衡量IT项目的绩效。（2）IT项目绩效评价结果失真。近年来，审计人员侧重于财务方面的评价，通常采用投资回收期、投资收益率、净现值等方法衡量IT项目应用的效果。这种评价最大弊端在于忽视了IT项目的无形收益，而无形收益占据IT项目收益的相当大比例，另外财务指标是结果型指标，只能反映出最终结果，而无法反映出过程，造成了IT项目绩效评价结果失真。（3）缺乏成熟、明确的评价指标体系。由于各单位开展的业务不同，IT项目绩效审计的对象千差万别，针对IT项目经济性、效率性和效果性的评价指标很难统一，甚至同一项目会有多种不同的评价指标，而采用不同的评价指标，得出的结论也会有所差别。现阶段我们在进行IT项目绩效审计评价时，受诸多因数的一项，评价指标相对单一、定量评价内容相对较多，定性评价相对不足，这就造成了我们的IT项目绩效审计结果不全面、准确性差。在国家信息化水平评价方法的指导下，一些用于IT项目的评价模型也已被提出，但主要还是根据信息化装备水平、员工信息化知识、信息系统覆盖范围等方面进行评价，而缺乏对于IT项目体系结构、信息化规划的质量、信息共享与集成的技术等方面进行评价，因此只能是IT项目信息化水平的宏观评价。本文从IT项目提供商、系统用户、监理方等角度寻求一种共赢切入点，从技术、非技术、经济角度等对IT项目进行全方位考虑，注重IT项目过程和结果的评价，从价值增值的角度来评价IT项目绩效，将IT项目绩效与对组织绩效的影响联系在一起，形成一套完整的、能够被广泛接受的IT项目绩效评价模型。二、IT项目绩效评价指标体系建立IT项目绩效评价指标体系的目的是检验IT项目现有或者潜在价值。IT项目绩效评价与其他评价不同，其突出在IT项目建设和应用过程中，尤其是项目实施效果，在评价指标体系设定时，重点考虑技术因素、组织管理和学习创新方面的内容，而系统的特征一般有若干个要素来体现。这些因素的结合被称为评价系统的特征，这些因素就被称为评价指标。所谓综合评价指标体系[7]是指一套能够全面反映所评价IT项目的总体目标和特征，并且具有内在联系、起互补作用的指标的集合。1．指标体系建立的原则。IT项目绩效评价指标体系的设计是正确、合理评价IT项目绩效基础，为单位战略决策提供有力依据，使IT项目更加完善，产生更大的经济和社会效益。为此，指标体系设计应遵循以下原则：a.指标体系科学性与先进性原则：它应有效地反映IT项目的基本特征，并能全面地反映评价对象的综合情况，从中抓住主要因素，既能反映直接效果，又能反映间接效果，以保证绩效评价的全面性和可信度；b.可测性原则：指标涵义明确，数据资料收集方便，计算简单，易于掌握；c.定性分析与定量分析相结合原则：为了进行综合评价，必须将部分反映IT项目基本特点的定性指标定量化、规范化，为采用定量评价方法打下基础；d.指标之间应尽可能避免显见的包含关系：对隐含的相关关系，要在模型中用适当的方法消除。2．指标体系的建立。一般来讲，对IT项目进行绩效评价需从系统建设、系统性能、经济效益和社会效益等方面去综合考虑。在以前的一些研究中，指标体系的建立比较注重对IT项目自身的评价，而对于系统所带来的效益方面强调的不是太多，与常用IT项目绩效评价指标不同的是本文将经济效益和社会效益分开都作为一级指标，并对社会效益进行了详细的划分，从而突出了IT项目带来的效益。把IT项目自身的性能和其带来的效益并重，进行了综合评价。充分考虑IT项目组织管理者、用户和提供商等意见，遵循评价指标设计的原则，并参考一些相关专家的意见，设定IT项目系统建设、系统性能、经济效益、社会效益及对使用者价值等五个一级指标，并分别设置相应二级指标。如图1所示IT项目绩效评价指标体系。图1IT项目绩效评价指标体系三、IT项目绩效评价模型1．IT项目绩效评价模型的建立IT项目绩效评价模型可分为概率模型和统计模型两类。概率模型主要是利用已知的信息导出所求问题的数学表达式和关系式，从而确定决策信息。统计模型是事先并不知道所求问题的数据分布，只能从观测数据出发通过分布的假设来推断数据总体的分布类型，进而估计分布参数及其取值。IT项目的数学模型包含若干具有明显区别的树立阶段，用图2来表示。图2IT项目综合绩效评价模型建立过程图这个图可以帮助我们成功地组建IT项目评价的模型，并且给我们提供了对任何的评价问题建模的通用的思考途径。2．IT项目综合绩效评价的实现（1）确定指标值。对评价指标进行量化处理从上表可以看出，绝大部分的指标均为定性指标，难于用数量来表示。有的指标虽然可以用定量来表示，但要确切计算出数值的大小是不容易的。例如社会效益指标，更是难以用定量来表示，对于这类指标采用定性评价会更方便些。在实际评价工作中，由专家对指标作定性评价，然后进行量化处理。假定专家对某一指标的定性评价用9，8，7，6，5，4，3，2，1计分，非常好为9分，非常差为l分。记为第i个信息系统在第m方面的第n个指标的得分，则相应的指标值。（2）计算指标间关联度。根据设立的指标体系设计调查表，向专家发放调查表，请各位专家对该企业信息系统评价指标体系进行评分，从而得出各层次指标间的相互重要程度。考虑到指标和比较期在总体评价中的作用不同，应对数据进行加权处理，而加权系数的确定可采用AHP法。（3）构建判断矩阵。计算单一准则重要性排序，采用特征方程计算出矩阵的最大特征根，所求特征向量即为各评价指标重要性排序，也就是权数分配。并进行一致性判断，检验权数的分配是合理的；否则需调整判断矩阵，直到达到满意的一致性为止。（4）确定指标的隶属度。该领域的专家、高层管理人员和用户一起对IT项目进行评价，评价结果用隶属度矩阵R表示。（5）计算评价值。在隶属度矩阵R获得后，接下来就是计算IT项目的综合评价向量S，为了在综合评价中能适当兼顾各因素，并保留单因素评价的全部信息，采用综合评价的加权平均型模型，可以获得较好的效果，所以有：（6）对评价结果的分析与利用绩效评价实质上是一种管理控制手段，它不过是将已发生的结果和预先确定的标准来进行对比，来判断现在的状态的好坏，以供管理者采取下一步进行时参考。3．IT项目综合绩效评价模型（1）权重的设置a.由决策者两两比较各因素si（i=1，2，…，n），按萨迪标度或其他方法给出判断矩阵A=（aij）n*m；b.用特征向量法或者几何平均法算得权重向量w以及相应的最大特征值λ。因为特征向量法计算太复杂，本研究中采用精度很高的几何平均法。权重计算方法为：最大特征值λ的计算方法为：c.对判断矩阵进行一致性检验，若CI≤Kn，则R基本满足一致性，w可用，停止；否则转步骤（4）。