自然科学基金绩效评价报告

1自然科学基金绩效评价报告一、项目概述1989年，山东省设立了山东省自然科学基金，重点资助基础性研究和应用基础性研究课题。省基金成立以来，坚持“依靠专家、发扬民主、择优支持、公正合理”和“有限目标、突出重点”的评审原则，围绕传统产业的改造提升以及电子信息、生物技术、新材料等新兴产业的孕育发展，加强多学科综合性研究和对全省经济和社会发展有重大影响的基础理论、关键共性技术开展研究，同时根据山东省自然、地理与人文资源优势，瞄准科学前沿、强化科学基本规律的研究探索，为促进科技创新和高新技术产业的发展发挥了重要作用。省基金主管部门为山东省自然科学基金委员会，负责处理日常事务。各学科组由省内知名专家、学者组成，对本学科项目指南提出咨询意见，并负责本学科申报项目的评审工作。项目依托单位主要职责为对本单位项目负责人申报的项目进行资格审查、推荐以及立项项目、专项资金的日常管理。二、项目绩效目标（一）促进人才队伍建设。省基金为山东省更多的科技工作者进入国家层面、承担国家级课题提供必要的基础性培育工作，从而与国家后续的投入形成“接力”，使省基金的效益发挥到最大。2（二）促进学科发展。引导和支持高等学校、科研院所优化学科结构，凝练学科发展方向，突出学科建设重点，夯实学科发展基础，培育形成特色学科。（三）提高科学研究水平。省基金从支持科学研究、培养优秀中青年人才和为地方经济社会发展提供科技支撑等方面入手，锻炼人才、发展科研基地，努力提高山东基础研究的层次和水平，为解决地方的重大需求提供科学依据。三、评价基本情况（一）评价思路和评价指标体系政策评价是围绕着政策及其活动全过程，通过考察政策过程的各个阶段、各个环节，对政策的效果所进行的评价。据此，从政策制定、政策执行、政策绩效三个方面，对省基金政策的运行过程及绩效进行综合评价。1、政策制定首先考虑政策存在是否符合政府导向和科研单位或人员的需求；在此基础上需要关注政策内容及制定程序是否符合法律、法规及各类规章制度的要求；政策内容的全面性和科学性是政策是否具有可行性和有效性的重要因素。基于上述考虑，设计了政策制定的各级指标。3政策制定下级指标及分值二级指标三级指标四级指标政策的必要性（4分）与政府政策导向的符合性（2分）——在基础研究投入中的重要性（2分）——政策的合规性（4分）程序的合规性（2分）流程的规范性（1分）依据的充分性（1分）内容的合规性（2分）与国家层面政策的符合性（1分）与地方性法规规章的符合性（1分）政策的科学性（13分）基金定位的科学性（2分）定位的适当性（1分）依据的充分性（1分）与省科技计划的衔接度（2分）与省重点学科领域的关联度（1分）与省科技人才计划的衔接度（1分）财政投入的合理性（9分）资助工具设置的科学性（3分）申报条件的科学性（3分）资助率、资助强度的适当性（3分）政策内容的全面性（4分）项目管理各环节政策的全面性（2分）——基金管理责任的合理性（2分）分工的合理性（1分）职责的明晰性（1分）2、政策执行自然科学基金的相关利益方为基层的广大科研人员，如何让政策有效传达以及被充分理解是政策落实的第一步；鉴于自然科学基金项目申请数量多、受益对象分散的特点，如何合理的遴选项目是基金科学有效分配的重要环节；基金资助项目周期一般为3年，各级管理部门的有效监督和指导，是研发过程的顺利开展、项目如期结题的保障条件。基于上述考虑，设计了政策执行的各级指标。4政策执行下级指标及分值二级指标三级指标四级指标政策的宣贯（4分）各级主管部门的宣贯力度（2分）宣贯方法的多样性（1分）最新政策传达的及时性（1分）政策知晓度（2分）——项目评审的规范性（10分）评审程序的规范性（3分）——评审结果透明度（2分）——评审结果的公正性（3分）——项目选取的适当性（2分）——过程管理的绩效（8分）管理的及时性（3分）项目调度的及时性（1.5分）财务监控的及时性（1.5分）管理的有效性（5分）项目调度的有效性（2分）经费使用的合规性（2分）管理信息系统的有效性（1分）结题管理绩效（3分）程序的规范性（2分）——档案管理的规范性（1分）——3、政策绩效自然科学基金项目的产出主要为论文、专利、诱发项目等研究成果，可以从数量和质量两方面进行评价；政策所要达到的效果为培养人才队伍和提高科研水平，难以用具体的定量数据衡量，因此我们设计的政策效果指标多为定性指标。政策绩效下级指标二级指标三级指标四级指标政策产出（12分）论文产出（8分）论文产出数量（4分）高质量论文产出率（4分）取得发明专利（2分）发明专利授权数量（2分）诱发项目（2分）获得国家层面、省级更高层面资助计划情况（2分）政策效率（8分）按时结题完成率（4分）——投入产出比（4分）——政策效果学科发展促进效果对依托单位学科体系完善的促进作用（35（30分）（9分）分）对优势和特色学科发展的支持作用（3分）对新兴交叉学科培育的促进作用（3分）人才队伍建设促进效果（9分）对项目负责人的培养和造就作用（3分）对人才梯队建设的促进作用（3分）对学科内学生培养方面的促进作用（3分）科学研究水平提高效果（4分）对负责人在相关领域从事科学前沿研究的促进作用（2分）对支持自由探索方面的贡献作用（1分）对我省和社会需求的贡献作用（1分）政策可持续性（4分）——（二）评价方法1、公众评判法（1）公众问卷评价：以省基金主要利益相关者的视角，通过对利益相关者的问卷调查、座谈会等形式，获取各主要利益相关者对政策的制定、执行、效果的相关判断等信息作为评价依据，对省基金政策进行评价。（2）专家评价：由相关领域专家对案卷资料、调查问卷结果、访谈记录等资料进行分析、研究，并根据评价标准对各指标进行打分。2、比较分析法（1）通过对省基金的总投入与总绩效进行对比分析，以评价自然科学基金投入与产出的关联程度。分别按学科领域、资助类别在高水平论文、专利、人才培养、诱发项目等方面分别赋予权重计算其绩效值，并进行比较。6（2）通过政策实施各期的产出进行纵向比较、政策不同类别、不同学科领域产出的横向比较，分析自然科学基金产出结果。四、评价结论情况（一）评价结果山东省自然科学基金政策评价最终得分为80.43分，评价结果等级为良，成效明显。其中，政策制定得分20.48分，得分率为81.92%；政策执行得分19.17分，得分率76.68%；政策绩效得分40.78分，得分率为81.56%。（二）主要绩效1、争取了一批国家级项目支持。受资助的项目负责人后续获取国家自然科学基金资助593项、28,968万元，国家重点基础研究发展计划（973计划）10项、5,230万元，高技术研究发展计划（863计划）4项、2,432万元，其他省级资助计划262项、11,303万元。2、提高了基础研究创新水平。在省基金的资助下，科研人员在国内外权威学术期刊上发表了一大批优秀学术论文，2011-2013年已结题项目共产出论文11134篇，其中SCI5226篇，CSSCI394篇，EI2076篇，ISTP88篇，MEDLINE44篇，其他期刊3306篇。山东省已连续多年在中国区域综合创新能力排名中位列前六位。73、培育了一批自主知识产权。2011-2013年已结题项目共获得专利1393项，这些成果对于解决制约我省产业发展的应用基础课题，促进经济效益的提高将会产生良好的效果。4、有力地推动了创新人才队伍建设。省基金资助体系涵盖了不同年龄、不同阶段、不同学科的科研人才，初步建成了学科齐全、布局合理的科技人才培养体系；科技人才队伍逐步完善，高层次人才建设队伍初见成效。另外，省基金项目有近9成的项目均有研究生参与，其中最多的项目研究生参与人数达20人，培养了研究生扎实的理论基础知识和创新性的思维，提高研究生的科研素养，培养了大量的科研后备力量。（三）主要指标得分情况及分析1、政策制定情况分析省基金经过多年的发展，在各项管理制度、各类资助项目的申报指南等具体制度、文件的制定方面已逐步完善，但在形式上还需进一步规范化、制度化，具体环节方面的管理细则（如项目评审、各级单位管理职责等方面）规定的还不够具体。二级指标得分情况如下：指标名称分值①得分②得分率③=②/①政策的必要性43.7092.49%政策的合规性43.5087.50%政策的科学性1311.2886.76%8政策内容的全面性42.0050.00%合计2520.4881.92%2、政策执行情况分析近年来，虽然省基金在提高管理水平、服务基础研究方面做了大量的工作，但受其管理体制的影响，其整体运行情况一般，项目过程管理有待加强，政策宣贯的方式较为单一，对于项目研发过程监控力度不够，项目信息化管理程度尚待提高。二级指标得分情况如下：指标名称分值①得分②得分率③=②/①政策宣贯43.0074.88%项目评审的规范性108.1781.74%过程管理绩效85.5068.75%结题管理绩效32.5083.33%合计2519.1776.68%3、政策绩效情况分析省基金2011年-2013年已结题项目产出的论文、专利、获取后续资助情况整体情况较好；但政策实施效率不够理想，结题率低是影响政策效率的主要因素；从政策效果来看，省基金在人才队伍建设方面的效果是比较理想的，但在促进学科发展方面的效果相对较弱。二级指标得分情况如下：指标名称分值①得分②得分率③=②/①政策产出1210.2985.71%政策效率85.7671.96%9政策效果3024.7482.46%合计5040.7881.56%（四）存在的主要问题1、省基金目前对于年龄、职称、研究基础等申报条件设置的较为细化，各类项目的定位和面向的研究群体较为明确，对于科研人员项目申报的指导性较强，但省基金作为科研启动的一个关键平台，部分条件规定的比较死板，这样规定虽对提高项目申报质量有所帮助，但对于青年人员来说，申报条件可能值得商榷。2、项目申报时需经过依托单位和主管部门逐级审核通过后上报，部分科研人员反映，单位内部存在利益冲突，在一定程度上影响项目申报的公平性。3、省基金现行的各项管理制度基本上都是2009、2010年制定，从近几年的申报指南中可以看出资助工具、资助条件、申报程序发生了较大的变化，原制度的部分内容已经不再适用；近几年国家基金对于申请者的年龄、结题年限等方面做出了制度修改，省基金亦应及时出台更新版的基金管理办法。4、部分科研人员对于省基金申报条件、经费管理、结题程序等方面的了解不够深入，在一定程度上影响项目的申报。5、项目评审管理有待进一步规范。部分评审专家责任心不强，评审意见不够具体，拒绝资助的原因语焉不详；项目评审10周期过长，网评透明度不高；部分领域评议专家有时只是大学科的同行，缺少专业更为相近的小同行专家，可能导致前沿的研究内容不能受到认可和资助。6、省基金管理的信息化程度尚需进一步提高。管理信息系统的数据不够全面，不能充分反映省基金的实际产出情况，部分科研人员反映系统运行的流畅度稍有欠缺。7、省基金资助项目的结题情况不够理想，结题工作拖沓，某些学科领域的资助项目投入产出率不够理想，效率有待提高。如医学科学领域是近几年省基金投入的重点领域，但其正常结题率仅为34.44%，产出无论是在论文、获得后续资助方面均处于弱势。8、山东省科研人员争取的国家自然科学基金经费规模较大，说明山东省的基础研究能力较强，在冲击国家基金方面比较有竞争力；另一方面，虽然近几年省基金投入额度不断增加，但其规模与广大基础研究工作者的需求相比远远不够，有待进一步提高。五、意见建议（一）建议进一步优化省基金各类项目的申报条件，适当放宽年龄限制，以评审项目思想的创新性、方法的可行性、研究基础等为主，适当降低职称和论文发表情况在申报条件中所占比重。11（二）建议对项目申请人开设申诉通道，对于单位推荐有异议的申请人，可将申诉意见及申请书直接提报基金委，基金委组织对此类项目进行复核，确保项目申报的公平、公正性。（三）建议基金委综合考虑省基金的运行现状和发展规划，及时更新相应的管理办法；进一步修订、规范基金运行各重要环节制度的实施细则，增强管理制度的可操作性和约束力。（四）建议基金