建设国家重大项目以结果为导向的

TA4581:DevelopingaNationalResult-BasedM&ESystemForKeyProjects建设国家重大项目以结果为导向的监测与评估系统Evaluation评估March20072007年3月项目建成3－5年后领导们想知道：•项目建设的正确吗？•项目是否实现预期的运营结果？•在运营阶段是否有需改进的方面以优化结果？•项目产生的结果是否在项目提交物运行的全生命周期内有持续性？•项目是否已经实现了预期的长期影响？•我们将来是否应该再实施类似的项目？•我们从此项目中学到什么经验教训，这些经验教训如何应用到未来的项目中？Evaluation评估•系统地、客观地对项目、大型计划和战略进行评估－我们的讨论将限制在项目的范围内；•评估包括对可行性研究、设计、实施和结果的评估；•评估可在项目实施前，实施中及实施后进行，但我们最常关注的是后评价；•仅对选择的主要项目进行深入彻底的评估。直接结果和长期影响•如果缺乏正式的评估，项目完成后其直接结果和长期影响通常不能进行测量。•直接结果评估研究的是项目投入运行后马上可以产生的结果：如财务方面的，使用情况，及其他直观的结果。•长期影响评估研究项目所带来的更广泛的经济、社会和环境效果。Strategicgoal战略目标Impact长期效应Outcome直接结果Need需求Inputs输入Activities活动Outputs提交物Inputs输入Activities活动Outputs提交物项目评估的目的•评估项目的相关性、设计和实施；•决定项目所带来的直接结果和长期影响：–在财务、经济、社会和环境指标上的影响；–包括预期和未预期的影响•评估项目结果的持续性：–项目所产生的结果是否可持续到将来？•服务于将来的项目：–其它选择的可能性–经验教训什么时候进行评估评估的时间取决于想从评估中获得什么：•在项目实施之前和实施中的评估更关注项目对需解决问题的相关性，及项目方案及设计能否满足解决原设定问题的初衷。•项目在完成后一年内进行评估主要关注的是项目的提交物情况及项目投入运行初期产生的直接结果。•在项目建设完成1至3年间的评估主要关注项目所带来的直接结果，同时也可以看作早期的长期影响。•项目建设完成3至5年后，评估更关注长期影响。评估基本内容•相关性–项目长期影响和直接结果与国家发展战略的一致性–项目方案和设计满足需求•效果–实现直接结果的程度•效率–相关资源转化为结果的经济性及效率•可持续性–项目资源（人力、组织、制度，财务）是否可以满足项目在其经济周期内持续带来影响产生结果。后评估•“后”评估•目的是为了评价项目所带来的结果•评估的四个准则：–相关性–效果–效率–可持续性长期影响指标•通过项目提交物的运营持续直接产生相应的结果，这些结果的积累带来更广泛更长期的影响；•长期影响指标用于评估。Impactindicators–examples长期效应—举例•数量–归于该项目原因的净增就业量•质量–特殊疾病死亡率的减少量–传染病死亡率（例如工程区域婴儿死亡率，与项目建设前相比每个地区至少了xx％）•财务–由项目带来的经济收益－例如：因为高速公路项目沿线地区国民生产总值(GDP)的增加。效果分析•要求分析反应项目的”真实“效果•对照–“之前”和“之后”–“实现的”和“目标设置的”–“有项目”和“没有项目”.•两种类型：–定量–定性之前/之后时间实施项目运营期变化结果其他因素的影响时间实施提交物周期因为项目原因产生的变化因为其他因素发生的变化结果定量分析－使用“反事实”法•将项目受益群体或地区与非项目受益群体或地区的直接结果指标进行比较;•要求谨慎设置研究方法；•使用实验的、“准实验的”或者“非实验的”设计。使用反事实法时间实施提交物运营周期因为项目原因产生的差别因为其他因素产生的差别“项目”组“非项目”组结果对比组可能从不同的基线开始时间实施提交物运行周期“项目”组“非项目”组D2D1因为项目原因产生的差别=D2–D1结果定量方法•随机实验设计•准实验设计•非实验设计随机实验设计•类似医学研究－对控制组（非项目）组与实验组（受项目影响）进行比较。•实际应用有局限性随机实验设计•随机将个人或团体分入从项目中受益的“处理”组或不在项目中受益的“控制”组；•尽可能从开始就如此分组；•两组应该经历相同的项目之外的事件；•对各组的直接结果进行测量；•两组直接结果之间的差异是因为项目的原因产生的，而其他客观原因对两组差别的影响应该微乎其微。项目/非项目比较的“准实验”设计•与实验设计的原理相同，但是：–没有随机分为控制组和处理组；–使用与自然情况相对应的方法分组比较，而非随机分组；–要求更多的数据排除二义性的解释。•包括：–非等价比较设计；–时间中断设计；–关联设计非实验方法…•使用统计学方式进行模拟•包括：–propensityscorematching，–(D2-D1),–regressiondiscontinuitydesign，–instrumentalvariables。•需要谨慎避免评价偏见选择定量方法•需考虑平衡：–对结果精准度要求–成本–实用性定性分析•一些重要的长期影响可能不易进行定量监测，或更好采用定性评估。•有些定性的信息会加深对定量数据的理解。•包括：–观察–有组织的面谈–调查（定性的问题）–目标群体–日志和自我报告–专家判断长期影响定性评估•不使用反事实分析；•通过使用定性方法，如过程评审、面谈、调查、二手数据分析，得出推论；•虽然没有像定量方法那样严格，但是通常也可提供有用的信息；•通过使用深入的定性评估，引进一些复杂情景条件，以增进对定量结果的认识。定量Vs定性分析•定量分析更权威但是需要投入更多的努力也更严格。•虽然有定量数据，但是定性评估仍可对定量的评估起到补充和加强的作用。评估设计在项目识别和准备期间•决定是否要执行评估•明晰评估的目标•调查数据实用性•选择评估方法•组成评估组•如果需要收集数据，那么–设计和取样–形成问卷–召集现场工作人员并进行培训–预备调查在项目实施期间和之后•引入基线和反复调查•分析数据•汇报结果，与利益相关方进行讨论•将评估结果融入将来的项目策划中评估资源分配•基于评估方法的选择；•非常详细的评估研究可能需花费多至100万元人民币;•如果从项目启动时就设置好监测系统来收集关于项目结果的数据，则花费要少得多。实际考虑•对于规模巨大的基建项目长期影响的测量会很困难，因为项目影响到的人群是很大的；•有些项目需要更长时间才能产生长期影响。例如：如果投资在交通、水电的商业项目，它们的使用还需重新建立相应的通道或准入，则项目所带来的对经济增长的影响可能会比项目滞后多年。案例－河北公路•评估组•设计&监测框架•现场数据收集•报告•总结评估组组成•评估官员•交通经济学家－国际人员•交通专家－中国国内人员•社会经济/移民专家－中国国内人员设计&监测框架设计总结指标和目标数据/汇报机制长期影响增长经济，减少河北省贫困受影响市县在2000年至2010年的经济增长要达到政府经济增长目标。到2005年在9个贫困县的每户收入要高于贫困线（人民币1，100元）由业务评估团(OEM)调查，数据取自河北省交通厅(HPCD).直接结果1.通过提高供应能力，改善道路设施，为客、货运输提供更为有效、安全的环境。2.改善进入贫困县村的道路3.建立corporatize和高速公路单位的能力交通高峰主路的平均速度从每小时40公里提高到每小时60公里到2005年每10,000vehicle-km死亡率降低至少10%。减少现有道路（230公里）交通拥堵，到2005年现有道路年平均日交通流量(AADT)增长了30%。到2003年项目所在地区农业运输时间减少了至少15%。国际道路粗糙指数(IRI)减少至3米/公里。到2003年，道路收费增长了至少5％。2000年，河北省交通厅改组，高速公路运营实现计算机管理。业务评估团使用GPS设备调查速度交警统计数据交通数据来自河北省交通厅和业务评估团的交通调查。平均点到点的交通时间来自交通调查和河北省交通厅的数据。由业务评估团ridesurvey评估－视察&乘车质量。河北省交通厅预算数据。河北省交通厅文档评审•亚行项目文件；•项目可行性研究（1997,河北省交通工程设计院）•项目后评价研究（2004,中国道路建设咨询管理公司）•京沪高速公里社会经济评估（2005年3月,河北社会研究院）•沧州贫困改善监测报告（2004年4月,河北社会研究院）•京沪高速公路移民安置报告（2003年11月,河北社会研究院）•项目收入表、现金流、资产负债表（从1998-2013,京沪高速公路管理办公室）•组织结构（2006,京沪高速公路管理办公室）•收费站的年交通量（高速公路管理办公室）•河北年鉴（2005,河北统计局）现场数据收集•计算5条连接县级道路的车流；•60份问卷－基于与9个村利益相关方关于县级连接道路影响的面谈；•通过高速公路和原104国道，测量道路粗糙度和检查道路；•与项目可行性研究报告作者面谈；•与项目运营者面谈（办公室领导，财务、维护、法规部门领导，一个收费站领导、处理超载事务部门领导）；•与业主面谈（办公室总工程师，项目办公室财务、规划和维护部门，河北省交通厅）；•与政府负责农村地区发展相关的官员面谈•与河北社会研究院专家面谈；•与县级交通部门面谈；•与村长面谈；•与一所当地小学的教师面谈。指标和目标受影响市县在2000年至2010年的经济增长要达到政府经济增长目标。到2005年在9个贫困县的每户收入要高于贫困线（人民币1，100元）。经济有所增长但是在评估时没有给出目标。实现。9个贫困县每户收入从1998年的212元增长到2004年的958.3元（每年增长28.6%)。交通高峰主路的平均速度从每小时40公里提高到每小时60公里到2005年每10,000vehicle-km死亡率降低至少10%。减少现有道路（230公里）交通拥堵，到2005年现有道路年平均日交通流量(AADT)增长了30%。到2003年项目所在地区农业运输时间减少了至少15%。国际道路粗糙指数(IRI)减少至3米/公里。到2003年，道路收费增长了至少5％。2000年，河北省交通厅改组，高速公路运营流程实现计算机管理。实现。在高速公路建成后，104国道的平均速度从每小时40公里提高到每小时60公里。由于高速公路分流，现有104国道的交通减少30％。这样交拥堵得以减少。实现。事故率从2001年的0.00140每10,000veh-km减少至2004年的0.00048。实现。县级连接道路能力从4级上升至2级，道路从原来4米拓宽为8米。高速公路在2001年至2005年之间，年平均日交通流量每年以34％的速度增长。交通时间明显减少。例如，在Qingxian至Wuqiao&Nanpi&Haixing，时间缩短了50％。实现。高速公路的国际道路粗糙指数(IRI)减少至2米/公里。在2005年对维护县级连接道路的维护费用预算高达10亿人民币，预计2006年维护费达到15亿人民币。这个预算费用，若以长度计算，每公里道路维护费用高达12，900元人民币（大约每公里1600美元）。维护预算费用用由中央政府、市财务预算和县财务预算提供。高速公路单位仍然不能完全corporatized。河北省交通厅改组，高速公路管理和运营流程实现计算机化。评估的主要内容（直接结果）•相关性：–专家评审了关于项目文件、政府和亚行战略及优先排序的文件。•效果：–实现主要目标的数据：•减少了车辆运营成本(VOC)•减少交通拥堵；•推动城市间交通通行；•降低了项目地区的贫困状况。•效率：–显示效率的数据：•经济内部收益率(EIRR).•可持续性–显示可持续性的数据：•项目资产（道路、其它设施）的可持续性；•财务可持续性（税收、重新评估财务内部收益率，FIRR）；•充足的维护（目前和计划的）•人力资源的保证评估的主要内容（长期影响）…•对组织机构的影响–定性评估：•河北省交通厅(HPCD);•京沪高速公路管理组织(JHE