产出评价原理-谢峻林

武汉理工大学谢峻林2019年12月30日产出评价原理•面向产出的基本原理•为什么评价机制是当前认证工作底线？•底线具体内涵是什么？•如何落实底线要求？•为什么课程评价是核心？•各类机制的关系•关于评价的认识误区主要内容一、面向产出的基本原理专业的产出是什么？专业培养目标(PEO)专业学习产出(PLO)课程学习产出(CLO)Outcome的三个层级ProgramEducationalObjectivesProgramLearningOutcomesCourseLearningOutcomes培养目标（PEO）：学生毕业后能做什么，毕业5年左右能取得怎样的职业成就。毕业要求（PLO）：毕业时学生应获得的学习成果（拥有的能力）。课程目标（CLO）：某教学环节结束时学生获得的学习成果（拥有的能力）。毕业后“能做什么”取决于毕业时“能有什么”毕业时“能有什么”取决于各教学活动的“学习成果”什么是基于产出的评价？以专业“产出”的合格/不合格（达成情况）为评价对象，评价依据与产出关联。评价的目的不是为了证明达成，更重要的是为了检查“产出”质量，发现问题并持续改进。既然要被评价，“产出”目标就不应该是口号，而应该能够描述出“产出”的“形态”，必须可衡量。（Outcome-BasedAssessment）2020/1/27职业能力目标出口能力目标学习行为目标明确清晰的学习成果，是有效评价的基础培养目标毕业要求课程目标支撑指标点的课程评价是核心指标点观察周期完整培养过程每个培养环节毕业后五年左右产出目标及其关系教学目标清晰的专业产出目标可衡量的指标点明确落实目标的教学载体支撑指标点的课程目标教学落实课程考核与评价2020/1/28面向产出的基本逻辑能力目标分解与分配，OBE教学设计支撑效果评估，产出成果评价OBA培养目标毕业要求教学计划课程教学考核评价学校的人才培养目标学校定位在校生,校友教师,雇主利益群体学生能力形成支撑实现支撑证明支撑以毕业要求为准绳综合评价培养质量培养体系“产出导向”二、为什么评价机制是当前认证工作底线以学生为中心Students-Centered产出导向教育Outcome-BasedEducation持续改进Continuous-QualityImprovement专业认证核心理念——推动专业建构“产出导向”的人才培养体系，并持续改进之！工程教育认证的初心和使命：促进高等工程教育专业坚持科学的质量观，实现内涵式发展：知识教育：体现适应发展的能力基础，重在拓展能力培养：体现处理与解决复杂问题的能力，重在创新人才养成：体现适应国家战略发展需要的价值观，重在责任通过认证，专业持续改进，质量不断提高学生应该能够真正的感觉到！认证的基本工作方式目标：全体（毕业的）学生达到毕业要求方法：专业举证，专家查证什么才“算”是证据？通过制度化的内部评价机制积累的教学目标达成情况证明材料这就意味着：•有内部评价机制，且以评价目标达成情况为工作重点；•既然能评价，目标一定表述得“可衡量”；•既然已经形成机制，一定有说起来合理的评价方法；•证据必须适用于“全体同学”，标志性成果对证明没有价值！•通过内部评价机制得出的结论能支持工程教育认证标准的要求。显然，如果没有面向产出的内部评价机制，专业则不可能提供认证合格所需要的证据三、认证底线具体内涵是什么？标准条款4.1：建立教学过程质量监控机制，各主要教学环节有明确的质量要求，定期开展课程体系设置和课程质量评价。建立毕业要求达成情况评价机制，定期开展毕业要求达成情况评价。2018通用标准——4、持续改进建立教学过程质量监控机制运行于内循环，主要监控课程体系运行、教学活动质量，以及课程目标实现程度。核心是课程质量，包括：面向产出的课程质量标准面向产出的课程质量评价机制建立毕业要求达成评价机制运行于内循环，主要监控对毕业要求高支撑的课程以及毕业要求的达成情况。评价的依据来源于课程质量评价的数据及结果。现阶段专业认证的“合格底线”：专业是否有“面向产出”的内部评价机制？专业是否有证据证明“评价”真的“面向产出”！课程评价是质量监控的核心，也是毕业要求达成评价的依据。因此，建立面向产出的课程评价机制是内部质量保障的核心，也是认证的“底线”底线要求-1：专业已建立面向产出的内部评价机制，包括：1）课程目标达成情况评价机制建立并运行2）毕业要求达成情况评价机制建立并运行3）两个机制已纳入专业的质量管理体系底线要求-2：专业能证明评价结果与产出挂钩1、培养方案中，毕业要求可衡量，课程对毕业要求的支撑任务合理。2、教学大纲中，课程目标对接毕业要求，教学内容、方法和考核要求对接课程目标；3、用于评价的数据（试卷、考核材料）能体现学生的相关能力，有相关性审核与把关的证据，评价方法基本合理；四、如何落实认证底线要求？聚焦“一体两翼”“一体”是指对内部评价机制，专业是否明确建立了面向产出的内部评价机制并开始正常运行，特别是机制是否真的“面向产出”。“两翼”是指实现了能力培养的证据链：一是对产出目标进行指标点分解，可衡量二是将指标点任务落实到具体教学活动（课程或相关教学环节）中，并有效评价。教学过程质量监控机制核心内容是面向产出的课程质量评价。建立了聚焦学生学习结果的质量评价标准，课程考核的内容必须与该课程支撑的毕业要求相匹配。定期评价课程对于相关毕业要求指标点的实际支撑情况，客观判定与毕业要求指标点相关联的课程目标的达成情况。毕业要求达成评价机制定期评价专业人才培养的产出标准-毕业要求的达成情况。评价证据能够反映学生能力，能证明毕业生达到了毕业要求。1、“一体”——面向产出的评价机制何谓建立了机制？机制是针对特定目的而制定的一套规范的处理流程，包括目的、相关规定、责任人员、方法和流程等，对于流程涉及的相关人员的角色有明确的定义；机制是规范的、制度化的方法的集合，是经过实践检验证明有效的、较为固定的做法；关注两个方面：一是制度的建立；二是基于制度的实施过程，即定期评价是否正常运转并有效。教学过程质量监控机制•规范的流程–主要以制度文件来体现–要与本科教学、认证工作相关学院层面培养目标实现评价的规定毕业要求达成及评价的规定毕业生跟踪与社会评价规定课程考核评价规定(面向OBE)教学档案及其归档规定毕业设计(论文)管理条例……学校层面学校教学指导委员会组成与工作条例督导专家组组织与工作条例教学及教学管理事故认定与处理条例教学大纲制定基本要求实践教学基本要求与管理学生学籍处理规定……常见问题学校文件陈旧，质量标准体系并没有进行修订，仅在学院或专业有基于产出评价的规定。=评价机制构成要项3年循环能力指标教学方案策略评估方法评估数据来源评价责任人收集数据时间结果发布改进行动毕业要求达成评价机制评什么？评价标准？怎么评？谁来评？评价结果使用？内部评价机制运行应关注的基本面学习目标通过学习学生应该得到什么知识、技能、能力与价值观？课程实施课程为什么能让学生获得预期的成果？教学方法针对预期的成果，教学中采用什么样的手段与方法促进目标达成？成果评价是否有系统性地措施从学生学习结果中收集数据用于持续改进？质量保障专业是否能通过监控，保障上述四点能够落实到教学实践中？•专业描述的主要是学校传统的内部质量监控机制，并没有进行面向产出的改造提升；•对产出评价的描述内容是近几年来流行的算分法，所用分值不能反映全体学生能力要求的达成状况；•两者描述都有，相互之间没有关联。现实状态：没有建立完整、真实的面向产出的评价机制！2“两翼”毕业要求：指标点分解——能覆盖，可衡量课程体系：对毕业要求指标点的支撑及落实——课程支撑任务分配合理，并落实指标点分解是对毕业要求的内涵解读，是为评价提供能力达成的观测点，不是毕业要求的简单拆分和裂变！分解的指标点应具有可衡量性、逻辑性、导向性和专业特点，目的是引导教师有针对性的教学，引导学生有目的学习。分解的指标点内涵，需要从广度和程度上都要覆盖通用标准12条。案例分析两翼之一：指标点分解——能覆盖，可衡量毕业要求5.使用现代工具：能够针对材料领域复杂工程问题，开发、选择与使用恰当的技术、资源、现代工程工具和信息技术工具，包括对复杂工程问题的预测与模拟，并能够理解其局限性。程度上不能覆盖标准,教学也无法落实问题案例15-1能够了解、选择和使用恰当的现代工具，包括信息技术工具与信息资源，对复杂工程问题进行分析、计算与设计，并理解其局限性。5-2能够了解、开发或选用恰当的现代工具，包括材料专业常用的现代仪器与工程工具，对复杂工程问题进行模拟和预测，并理解分析其局限性。指标点是否可衡量，不是看有没有课程支撑，而是要看内涵是否确实可衡量，是否可以通过常规的考试/考核来体现出来。有课程支撑不等于可衡量。对于技术性要求，指标点分解应体现了对相应专业技术能力的合理解释，便于按课程层次衡量是否达成。对非技术性能力要求，仍然应遵循可衡量、导向性、说得清、有专业特征的原则，通过分解指标点使其含义清晰化。案例分析两翼之一：指标点分解——能覆盖，可衡量某专业毕业要求具有良好的人文素养、工程职业道德、强烈的社会责任感。具有一定的组织管理能力和团队协作精神，能够与不同知识背景成员有效交流.....。具有自主学习和终身学习的意识,勤于思考,富有探索精神,乐于创新。抽象，不可衡量问题案例2某专业毕业要求1、能够将数学、自然科学、工程基础和专业知识用于解决材料制备及服役过程中的复杂工程问题。1.1表述1.2方程分析1.3确定材料合成条件1.4分析材料生产问题1.5优化材料性能能将数学、自然科学、工程基础和专业知识运用到工程问题的恰当表述中能针对一个系统或过程,建立合适的数学模型或原理方程，并利用恰当的边界条件求解能够运用化学、物理知识对材料合成过程进行问题分析，揭示反应原理，确定关键因素，对所研究的象进行合理优化能够运用原理方程和工程知识，针对材料生产过程中的单元装备进行复杂工程问题分析能将工程和专业知识用于分析材料组成、结构、性能及应用之间关系，分析材料服役行为，提出改进方案纵向分解方式，基于能力的分解，指标点之间存在内在逻辑关系示例1毕业要求12终身学习能力12.1、技术理解力12.2、总结与综述能力12.3、提出问题的能力12.4、在任务环境下区分知道与不知道的能力12.5、避免习惯性干扰的能力等毕业要求6-12，非技术性能力要求，通过分解指标点使其含义清晰化，可以通过常规的考试/考核来体现出来。示例2【关注点1】指标点分解是否能清晰的表现专业对通用标准的理解以及本专业毕业要求对其的覆盖？体现出对12项能力的合理理解，从深度与广度上均能反映通用标准的要求。【关注点2】对技术性要求，分解的指标点是否可衡量？指标点分解合理，便于按课程层次衡量是否达成。课程支撑也能提供可操作证明。【关注点3】对非技术性要求，是否通过分解指标点使其含义清晰化。即对描述性名词或形容词能基本给出专业的解释。对于描述性的能力，能够具体列出其主要内涵，且其内涵可以通过常规的考试/考核来体现。36课程体系与毕业要求的关联度矩阵教学环节毕业要求1毕业要求2……毕业要求12课程-1HLM……课程-2……H…………实习-1……M……H…………………………两翼之二：课程体系对毕业要求指标点的支撑——课程支撑任务分配合理，并落实课程对毕业要求的支撑强度应从毕业要求角度做宏观判断，不能仅局限在指标点，而忽略了毕业要求。避免毕业要求的各指标点由不同课程群支撑，没有能支撑该毕业要求多个指标点的H课程，支撑任务碎片化；避免一门课程跨越太多个毕业要求支撑，但却仅支撑每个毕业要求的个别指标点，课程主体支撑责任不明确；课程承担的支撑任务，应与课程内容，教学特色、课时安排相匹配，可教学、可评价！案例分析问题案例3毕业要求毕业要求指标点支持课程课程在指标点中的权重课程达成度评价值指标点达成度毕业要求2--问题分析：能应用数学、自然科学和工程科学的基本原理，识别、表达、并通过文献研