2省评审中心参与绩效考评工作回顾1、2002-2003年,由财政部经建司安排,先后承担对河北省、浙江省污水处理国债近50个项目的跟踪问效。2、2005年,选择了高等教育设施建设、人畜饮水工程、城市污水处理厂、县乡公路、高科技企业等5个不同行业项目,进行了试点性的绩效考评工作,摸索有关技术经济、资金管理、投资控制、功能实现、财务效益的评价指标,开始了以定性评价为主的起步工作。33、2006-2010连续五年,承担对我省21个老区县(区)的革命老区专项转移支付资金项目的绩效考评,已完成逾200个项目的考评,并逐步实现对项目的定量考评。4、2008-2010年连续三年,承担对我省1979年-2007年实施的101个外国政府贷款项目的绩效考评工作。5、2009年承担国家旅游发展基金项目、长江新安江流域污水管网建设项目、泵站技改项目、省工商“金信工程”、省供销“新网工程”等5批41个项目的绩效考评。4项目绩效考评的历程形式:跟踪问效---后评价---绩效考评(绩效考评)方法:定性评价----定量评价5我省有关绩效考评工作的相关制度1、安徽省财政厅《安徽省省本级项支出绩效考评管理办法(试行)》(财预[2005]569号)2、安徽省财政厅“关于印发《安徽省预算支出绩效考评实施办法》的通知”(财预[2009]134号)3、安徽省财政厅《关于开展2009年省级预算支出绩效考评工作的通知》(财预[2009]517号)6绩效考评的主要类型1、按考评主体分类:主要根据考评工作的组织实施形式,分为财政重点考评(财政部门直接组织)、部门考评、单位自评2、按支出类别分类:基本支出考评、项目支出考评3、按考评过程分类:按预算执行的阶段分为前期考评(可行性研究)、过程考评、结果考评。目前,评审中心主要承担的绩效考评类型是财政重点考评、项目支出考评、结果考评。7我们理解的项目绩效考评项目绩效考评是指对项目支出的绩效目标及为实现这一目标所安排的预算,运用一定的考评方法、考评指标及评价标准,对绩效目标的实现程度、支出预算的执行结果等所进行的综合评价。绩效考评采取定量和定性相结合的方式,在定性分析基础上,对相关考评内容尽量制定定量化考评指标,进行量化分析,并作出定性或定量的考评结果。8一、项目支出绩效考评的基本内容(一)考评对象。可以是单个项目,也可以是一项计划。能从三个方面来明确:1、内容:工作内容、工作目标、进度计划。2、活动周期:项目开展的起止时间3、资金:来源、额度、使用计划考评对象需明确。9(二)考评依据(也是考评所需资料清单)1、党和国家的方针政策、法律法规、规章制度;2、部门发展中长期规划;3、项目预算批复文件以及资金管理办法;4、项目管理办法以及项目申报书、可行性研究报告、立项评估报告、中后期验收报告等;5、项目财务执行报告、决算报告以及项目有关的其他财务资料;6、其他财务资料10(三)考评方法主要方法包括比较法(目标与结果、历史与当下)、因素分析法、公众评价法(专家评估、公众问卷、抽样调查)、成本效益分析法等。考评方式:现场考评和非现场考评相结合现场考评以实地勘查项目实施进展、实施效果的考评方式。非现场考评主要以项目实施方案、实施合同工作总结、绩效报告,以及项目实施单位提供的其他真实可靠的资料为依据。11(四)评定方法考评组结合现场考评掌握到的实际情况、考评依据和其他业务和财务方面的材料对考评指标进行综合评分,形成文字报告,出具考评结论。(五)考评专家的组成12二、指标体系制定绩效考评最主要的工作难点是缺乏科学、规范、针对性强的考评指标体系。考评指标体系三要素:一是项目绩效考评指标体系二是项目指标权重(打分分值)三是项目绩效考评标准13(一)指标设计的一般原则:1、相关性原则:绩效考评指标与部门的目标、考评的目的、需求有直接或间接的联系。指标体系应是对考评对象本质、结构及其要素的客观描述。2、系统性与重要性原则:要注意指标体系内部的逻辑关系。选择最具有代表性、最能反映考评要求的指标,用最简练的指标最系统的反映社会现象之间的数量关系和内在规律。143、完整性和导向性原则:从不同角度反映部门预算支出的内涵和特征,还要考虑部门预算支出对社会发展产生的积极和消极的影响,同时,还要注重指标体系的导向性作用和激励作用4、科学性原则:一是准确,指标概念要准确、涵义要清晰,尽可能避免或减少主观判断;二是完整,围绕考评目标,全面反映考评对象;三是独立,各指标之间不能有很强的相关性。5、经济适用原则:指标的选择要考虑现实条件和可操作性。15(二)我们的体会与做法简而言之:在设计和选择考评指标时我们遵循“相关性、经济性、可比性、重要性”的原则。指标体系制定紧紧围绕三个方面:一是对国家、省有关项目资金的安排与使用政策的理解;二是对财政管理需求的了解;三是对项目特点的掌握。16(1)指标拟定基本原则是科学、简明、操作方便。指标层次不宜过多。(2)主要指标应齐全,从内容上,指标应涵盖项目实施、功能实现、项目管理、资金管理、社会与经济效益等方面,从专业上应包含业务指标和财务指标。(3)指标体系内容包含:指标释义、权重设置(或分值设置)、评分标准。(4)指标体系制定需要多方参与。171、指标设置第一种:基本指标五大类:实施内容绩效、项目管理绩效、资金管理绩效、功能效益绩效、公共效益绩效(1)实施内容绩效(完成任务量、完成质量、完成进度和及时性)(2)项目管理绩效(实施过程管理、完工验收管理)(3)资金管理绩效(资金到位情况、资金管理的规范性)(4)功能效益绩效(项目用途、项目配套、项目达标情况)(5)公共效益绩效(经济效益实现情况、社会效益实现情况、可持续影响)18基本指标作为一级指标,在此基础上,因资金、项目而异,逐步细化设计二级、三级指标。各级次指标之间的关系是,前一级指标是后一级指标的归纳,后一级指标是前一级指标的细化。二、三级指标类型根据项目特点,包括:1、通用指标和专用指标2、定量指标和定性指标3、合规性指标和效益性指标第二种:业务指标、财务指标192、关于指标权重的设置指标体系权重的设置实际上反映了人们对评价目的和评价对象的价值判断取向。例如,为什么这个指标的权重高于年哪个指标?方法:1、可以采用定量分析方法,如层次分析法(AHP)、多目标树状图法等等,实际操作可能比较复杂;2、从简单易行的角度来做,可以由财政部门、预算单位、项目实施单位、考评专家根据指对评价结果的影响程度、项目情况,讨论、分析研定权重。确定权重实行群体决策、集思广益,根据群体对某指标的重要程度的认定而确定,避免受某些个人主观意愿的影响,形成统一的权重分配方案。203、评分标准定量指标和定性指标的评分标准与方法各有侧重。定量指标根据指标定义采用相关评价方法直接得出指标的量化值,对量化值再划分标准设定分值,得出定量指标评价得分。定性指标根据指标定义采用相关评价方法只能得到指标的定性描述,对于定性描述靠客观判断可以得出的定性指标,直接根据定性描述情况划分评价标准,得出指标得分;对于定性描述靠主观判断得出的定性指标,可以采用问卷调查、专家评判等方法,将定性指标定量化,再对量化值划分评分标准,得出定性指标指标得分。现有指标、例:1、自定指标。2、细化指标21名称分值评分标准说明工程完工率2.595%(含)以上2.5分一般基本建设项目尾工在5%以下,即视为完工。80%(含)至95%2分基本可以使用,但部分功能受影响,可以得到满分分值的75%。50%(含)至80%1分主要功能发挥可能受影响,可以得到满分分值的50%。其他情况0分主要功能基本不能发挥。22类别评分标准设定办法例子是否类指标主要为“是”和“否”两种情况,符合则满分,不符合则0分。“是否实行县级财政国库集中支付”满分2.5分;是2.5分,否0分情况类指标合规性指标涉及合规性情况的重要程度,还考虑实际情况判断难易来确定分值。“四项基本建设制度执行情况”满分8分;招投标制、法人制、合同制、监理制做到1项给2分。主观判断性指标采用问卷调查、专家判断将其定量化,再参考定量指标的方法设定评分标准。如“改善出行情况”满分10分;问卷调查80%(含)以上群众认为提高了出行的方便、安全程度,计10分;50%(含)至80%计6分;其他情况计0分。234、打捆项目评分计算方法绩效考评的对象若是打捆项目或对一个有十几项目的单位,如何打分?为了方便工作采用简单可行的方法。如:项目县得分是根据该县项目得分与所占专项资金权重乘积计算。如:省财政分配该县专项资金500万元,该县2006年安排3个项目,专项资金安排分别为100万元、300万元、100万元,项目绩效考评得分为75分、80分、85分,则该项目县2006年老区专项项目绩效考评总得分为78(75×100/500+80×300/500+85×100/500)。24三、评价工作的组织实施(一)基本程序1、制定绩效考评工作方案●根据项目清单,进行项目摸底●收集基础资料,拟定考评指标●开展绩效考评工作的组织架构、任务分工●细化绩效考评工作进度等252、通知被评项目单位●发函通知项目单位开展评价的目的、意义●告知项目单位评价的具体工作程序、时间安排、文件规定、评价方式●项目单位需要配合的工作事项(三项配合:资料配合、人员配合、时间配合)●项目单位须提交的信息资料清单(复印件+电子版)263、收集项目基础数据和信息●尽可能保证项目信息的真实性和完整性●在信息收集阶段与项目单位及时沟通●注意收集评价所需的关键和最重要的数据274、案卷研究和资料分析●项目单位提交的项目信息和案卷资料●与该项目相关的国家、行业及地方的政策文件●互联网上有关项目信息●政府管理部门及行业主管部门的信息285、预评分及核查问题清单●根据案卷研究的结果对项目进行预评价●整理出项目缺失信息内容和疑惑问题清单●通过分析列出项目实地调研核查问题清单296、面访与实地调研(座谈会)●项目现场评价—通过面访、座谈或实地考察的方式核查问题●若在项目所在地召开座谈会,必须找熟悉项目情况的人员参加座谈(3种人—管理、技术和财务)307、综合分析与评价结果●根据实地调研收集的信息进行综合分析(包括利益相关者的观点)●完成对项目的绩效评分、确定绩效等级、撰写评价报告及附件318、征求项目单位意见●书面通知项目单位、绩效考评结论并征求意见●对项目执行单位书面提出异议的书面答复9、报送评价报告●报送项目的绩效考评报告及附件(二)实施时的难点在评价信息收集1、信息获取途径介绍(项目文件、信息调查表、座谈会等)2、座谈会问题清单设计方法3、调查信息表分析与解读33评价过程与信息收集途径调查信息表项目文件座谈会网上信息实地调研核实存在疑问的问题、补充信息并解决预评分中的遇到的困难。案卷研究预评分调研核查绩效考评专家组根据案卷研究结果预评分,发现缺失的信息和需要核实的信息。评分结合经过核实的信息,专家组经过讨论,完成评分,撰写评价报告。全面了解项目信息,为预评分做准备。重点访问34案卷研究—调查信息表的目的搜集项目信息,为评分提供方便。了解项目情况,为管理提供参考。建立项目信息库。由项目单位协助,考评核实后填写,是绩效考评的重要依据35案卷研究—调查信息表分析调查信息表组成分析:问题:分为项目单位信息、项目基础信息、项目调查信息三部分。项目单位信息(项目单位名称、通讯地址及邮编、项目联系人等)项目基础信息(项目名称、实施地、投资总额等问题)项目调查信息(项目运行状况、项目效益、项目影响等问题)调查信息表内容分析:客观问题:项目立项日期、竣工验收情况、采购方式等。主观问题:管理能力提高水平、目标完成程度、项目扩散作用等。(客观问题项目单位根据项目文件填写,主观问题需要项目单位判断,是调研核查的重点。)36案卷研究—项目文件项目立项审批文件项目建议书项目可行性研究报告可行性研究报告的批复(多层次)地方政府发展规划……项目工作总结项目财务报告项目竣工报告评估报告监理工作总结项目年度决算报告项目采购合同项目环评报告项目审计报告项目专项检查报告……项目过程文件项目单位提供,