绩效评价中的数据采集和社会调查

绩效评价中的数据采集和社会调查财政支出绩效评价概念•财政支出绩效评价的内涵与外延–绩效包含了效率、产品与服务质量及数量、机构所做的贡献与质量，包含了节约、效益和效率（普雷母詹德编的《公共支出管理》一书）–绩效是一个相对的概念，它可以用努力和结果这样的字眼进行定义（亚洲开发银行的SalvatoreSchiavo-Campo在《强化政府支出管理“绩效”》一文）–绩效是实施一项活动所获得的相对于目标的有效性，它不仅包括从事该项活动的效率、经济性和效力，还包括活动实施主体对预定活动过程的遵从度以及该项活动的公众满意程度（OCED1994年一份报告《Performancemeasurementandevaluation》）财政支出绩效评价的层次公共部门单位的评价，如某高校绩效评价按项目划分的支出评价，如新农村建设工程评价按职能划分的支出评价，如教育支出评价财政支出综合评价（政府总体）总体类型项目单位美国如何构建政府绩效评估指标体系•国家绩效评估委员会的评估模型。•该模型与政府会计标准委员会的评估模型相似，包括六大类指标：•第一，投入指标。衡量某一项目或服务消耗的资源。•第二，能量指标。度量一个机构提供服务的能力。可帮助部门主管评估本部门雇员培训的程度、物质设施状况及系统准备就绪的程度。•第三，产出指标。这些指标衡量为服务人口提供的产品数量或服务单位。同时也包括“工作量”指标，反映在为生产一个产品或提供一项服务所消耗的努力程度。•第四，结果指标。这些指标衡量项目和服务的结果，具有定量和定性的特征。•第五，效率和成本效益指标。效率指标反映服务的程度与提供服务所需资金与人力资源的成本之比。•第六，生产力指标。根据安蒙斯(Ammons)的理解，“生产力指标将效率与效益结合成一个单一指标”。如“每个劳动时间修补路程数”反映效率；“正当地修补的路程数的百分比”(如6个月内不需要重新修补)反映效益；“有效修补每公尺路所需的单位成本(或劳动小时)”则反映生产力。•联邦政府的通用绩效指标。•2002年，美国总统预算与管理办公室(OMB)为低收入住房援助、职业培训与就业、荒地火情管理、减轻水灾损失、灾害保险、医疗卫生、环境保护等项目开发统一的评估指标，又称“通用评估指标”，即•(1)联邦住房项目评估的通用指标：相关成本-效果衡量指标；一定预算资源所帮助的家庭数量。•(2)职业培训和就业项目评估的通用指标：找到工作；项目参加者得到证书或学位；得到的收入；每一个工作岗位的项目总成本。•(3)荒地火情管理评估的通用指标：高风险的社区脱离高风险名单的比例；完成火情管理计划；每场火情的成本和每英亩面积火情的成本。•(4)减轻水灾损失项目评估的通用指标：该项目包括四个具体项目，通用绩效指标只有一个，即联邦支出与净社会效益之比(每一美元开支的净经济效益)。•(5)对参加灾害保险项目评估以投保人数作为通用评估指标。•(6)医疗卫生评估的通用指标：人均享有联邦资助、直接用于医疗卫生项目的支出；每个医生、护士、医生助理每天看病的人数；同一疾病再次就医的病人数占收治住院的病人总数之比。•(7)对环境保护的评估，重点是三个项目的通用指标：农村水工程评估(每百万美元建设输水管线的数量；每百万美元提供的可饮用水数量；每百万美元处理的到达标准的水量)；饮用水的基础设施贷款项目(每百万美元建设输水管线的数量；每百万美元提供的可饮用水数量；每百万美元处理的到达标准的水量)；非定点水污染源项目(每百万美元减少的沉积物吨数；每百万美元减少的有机物磅数；计算机构的活动对沉积过多和污染发生影响的比例)。统计数据的获取政府常规统计（年鉴或手册）单位统计报表或台账系统审计报告现场实测市场调查社会调查2019/9/147抽样调查•抽样调查是按照科学的原理和计算，从若干单位组成的事物总体中，抽取部分样本单元来进行调查、观察，用所得到的调查标志的数据以代表及推断总体。•抽样调查是根据部分实际调查结果来推断总体标志总量的一种统计调查方法，属于非全面调查的范畴。它是基于节约成本的考虑。•绩效抽样调查的目标总体为被评价项目所惠及的所有市民，为了对项目绩效实施客观公正的评价，调查问卷的发放应该遵循统计科学的基本原理，通过抽样调查获取评价信息必须符合一定的程序规范。2019/9/148总体与样本•总体和样本是抽样调查中最基本和最常用的一对概念，因为抽样的本身就是通过样本对总体作出估计和推算。•总体是我们研究也即进行调查对象的全体。它是由研究对象中所有性质相同的个体所组成的，组成总体的各个个体称作总体单位或单元。如某地进行企业调查，调查对象是各行业、各种所有制及各种规模的企业，那么在该地所有国有的、集体的及个体的，工业、商业及交通运输等所有行业，大小不等的所有企业构成一个总体。•总体又有目标总体和实际总体之分，如了解浦东人拥有手机的情况，目标总体就应为全体浦东人；但考虑一些年龄段(如老人和儿童)的人拥有的比例很低，如果全部调查难免事倍功半，于是实际调查时会加上时空年龄和居住时间等限制，这就形成了一个实际总体。2019/9/149•抽样调查数据之所以能用来代表和推算总体，主要是因为抽样调查本身具有其它非全面调查所不具备的特点：•1)调查样本是按随机的原则抽取的，能够保证被抽中的单元在总体中的均匀分布，不致出现倾向性误差，代表性强。•2)所抽选的调查样本数量，是根据调查误差的要求，经过科学的计算确定的，在调查样本的数量上有可靠的保证。•3)抽样调查的误差，是在调查前就可以根据调查样本数量和总体中各单元之间的差异程度进行计算，并控制在允许范围以内，调查的准确程度较高。2019/9/1410概率抽样•概率抽样也称随机抽样。是从构成总体的所有单元中按一定程序随机选择一部分单元进入样本的抽样方法。概率抽样具有以下特点：•1）能够表明一个确定的样本包含哪些单元。•2）对每个可能的样本，都有一个确定的被抽取概率。•3）以随机原则抽取样，不受任何主观因素的影响，使每一个单元都有一定的概率入选样本。•4）从样本数据估计总体特征时，需要考虑该样本被抽中的概率。•概率抽样的优点是能够保证样本的代表性，避免人为因素的干扰。概率抽样还有一个优点是根据概率样本估计总体特征时，可以对样本产生的抽样误差进行估计。2019/9/1411非概率抽样•非概率抽样是指样本由抽样者主观抽出或受访者自愿进入样本的抽样方法。非概率抽样有多种方式，主要有便利抽样、自愿抽样、滚雪球抽样、配额抽样等，我们常用的典型调查和重点调查都属于非概率抽样。由于非概率抽样不能保证样本的随机性，因此根据非概率样本估计总体特征时，不可避免地以下缺点：•1）难以评价样本的代表性。•2）无法估计抽样误差。•3）偏倚往往较大。2019/9/1412非概率抽样举例•某个绩效评价项目，受益群体涉及全浦东的全部人口，为了了解总体的人群对该项目的满意度，评价方对全区人口进行抽样调查。根据他们的理解，所有街镇都应该被抽到才是合理的，于是对原浦东二十四个街镇实行平均100份的配额抽样。这种方法至少存在的问题是：•1、每个街镇的规模是大小不等的，因而有偏差；•2、对每个街镇的总体而言，100份的代表性不足；•3、抽样框不合理。2019/9/1413抽样框•要从一个总体中抽选样本，很重要的一个问题是需要一个包括全部总体单元的一个框架，因此用来代表总体，从中抽选样本的一个框架就称作抽样框。•抽样框可能以各种形式出现：名单、手册、地图、数据包……。无论抽样框采取何种形式，在抽样之后，调查者必须能够根据抽样框找到具体的抽样单元。因此，1)抽样框必须是有序的。即抽样单元必须编号，且根据某种顺序进行了排列。2)抽样框中包含的单元务必要“不重不漏”，否则将出现抽样框误差。2019/9/1414抽样单元•构成抽样框的单元称为抽样单元。抽样单元不仅指构成抽样框的目录项，同时还表示该目录项所对应的实际总体中特定的一个或一些单元。抽样单元不一定是组成总体的最小单位—基本单元，可能包含一个或一些基本单元。在简单随机抽样中，抽样单元即为基本单元；而在整群抽样中，群即为抽样单元，而群可能包含相当多的基本单元。2019/9/1415误差与精度•凡是调查就一定有误差，误差或大或小总是存在的，不可能完全避免。在抽样调查中，误差可分非抽样误差和抽样误差两大类。•非抽样误差不是由抽样引起的，它包括调查误差，不完整的抽样框引起的误差，不回答误差以及由于填写或录入调查数据中的谬误而产生的误差。非抽样误差与样本量大小无关，这些误差在全面调查中也是存在的，减少非抽样误差的方法主要是严格调查程序，规范调查及加强人员的培训和管理，合理地设计问卷等。•抽样误差是由于抽样造成的误差，是用样本数据对总体特征进行估计所引起的代表性误差。由于每次只是抽取一个样本，不同的样本由于包含的单元不同，得到的估计值自然不同。各个估计值与总体特征之间不可避免地存在差距，由此产生了抽样误差。与非抽样误差不同的是，抽样误差是能够计量的，也可以得到控制。2019/9/1416教条主义方法•任意方法也许基于经验，如5%规则•具有主观性•优点：容易确定，简单易行•缺点：无效率、不经济研究类型最小量典型范围问题鉴别研究5001000-2000问题解决研究200300-500产品测试200300-500试销研究200300-500广告研究150200-3002019/9/1417成本基础法•将成本作为确定样本容量的基础•对于成本基础法的区别很大；•通常会忽视调查结果对管理决策的价值；•确定样本容量一个好的办法是考虑成本与调研对于经历的价值之间的关系；2019/9/1418统计分析法•一些统计分析方法对最小样本容量有要求•如果要讨论分类变量的影响，那么每一分类变量的样本数应符合统计分析数的需要•要将每一类样本或子集看成一个总体2019/9/1419样本量•样本量一般按以下原则确定：•公式中：N=合格总体的大小，t2=与值的正态分布下的面积有关的标准差得分的平方值，p=用于计算样本量的类别的百分比，q=1-p，d2=围绕样本估计值的一半的精度区间的平方值。工作中拟采用的标准为置信度，绝对误差限度=0.05，总体方差2=0.25。22p*q*(1)*=ntnNd（）概率水平方差有限总体纠正因子*置信区间2019/9/1420样本量例1•例如某项大型公共交通工程给某社区市民带来出行便利，工程目标为大大缩短居民出行时间，评估指标确定后，希望获取市民平均缩短出行时间的数据误差在正负3分钟之间，调查结果在95%的置信范围以内,其95%的置信度要求Z的统计量为1.96。根据估计总体的标准差为15分钟,总体单位数为1000人。样本量为:•n=15*15/(3*3/(1.96*1.96))+15*15/1000)=88•也就是说，当我们把公共工程给社区居民平均出行带来时间便利作为一个评价指标时，并希望把调查误差控制在3分钟以内，需要调查结果有95％的可靠性时，对1000人的社区需要抽88个样本。2019/9/1421样本量例2•某地区村庄改造项目绩效评价中涉及3个镇的若干个村，其中甲村涉及2891户，乙村涉及1965户，丙村涉及3128户。由于3个镇的项目运作方式有所差异，所以可视为3种类型。按照分析目标总体被分割为3个子总体，用上述抽样公式分别计算出甲村的样本量为383户，乙村的样本量为382户，丙村的样本量为383户，各层间应相互独立，并且全体上没有遗漏。•为留有余地，评价小组将样本量定为1200份。2019/9/1422推断不同总体所需样本量总体规模N在确定样本容量n的过程里所起作用与其本身的大小有关，对于小规模的总体，作用明显；对于中等规模的总体，作用中等；对于大规模的总体，作用很小。例如，置信度，绝对误差限度=0.05，总体方差2=0.25时，所需的样本容量n随总体规模N的变化见下表：总体规模N5010050010005000100001000001000000样本总量n4480222286370385398400由于样本是用于推断总体的，所以如果以被调查范围发生在浦东为例，抽样