第九章设计和实施形成性评价评价需求确定目的进行教学分析分析学习者和环境编写绩效目标修改教学开发评价方案开发教学策略设计并实施教学的形成性评价设计并实施总结性评价开发和筛选教学材料主要内容形成性评价概述形成性评价的阶段(新开发的教学材料)其他形成性评价1.形成性评价的概念形成性评价:教学设计人员用来获取数据,并通过这些数据修正教学,提高教学效率效果的过程。形成性评价的重点:搜集数据,分析数据,改进教学第一节形成性评价概述形成性评价的三个基本阶段①一对一评价又称诊断性评价,设计师从单个的学习者身上采集数据并修正教学材料。②小组评价一个由8至20个目标人群的典型代表组成的小组,利用教学材料自行学习,然后通过对他们的测试来采集所需要的数据。③现场试验试验过程要有一个与“真实世界”尽可能接近的教学情境。2.形成性评价的阶段3.形成性评价可用专家在这三个阶段之前,征求不直接参与教学开发过程但有兴趣的相关专家的意见:学科专家:主要评价教学内容的精确性和时新性。学习类型专家:可以就提高该类型学习效果方面对教学策略提出建议,并告诉相关教学理论。学习者专家:可以从目标人群的视角和反应看教学,从最终的应用环境来看材料是否合适。4.设计形成性评价最佳着眼点或参照框架是教学策略。方法:建立矩阵即把教学策略的各个成分列在一边,把有关教学的主要问题列在另一边。在成分和问题的矩阵交叉单元中产生与每个问题领域和每个教学策略成分相关的、在评价中需要回答的问题。借助这些问题,开发评价要用的量表和评价过程,确定能提供信息的适当人选。第二节形成性评价的阶段新开发的材料选择修改的材料教师传递的教学一对一评价小组评价现场试验1.一对一评价目的:确定并改正教学中存在的明显错误,从学习者那里获得对教学内容的最初使用数据和反馈。标准:①清晰度:对于学习者个体而言,信息或者呈现给他们的教学内容是否明了、清楚?②影响力:教学对于学习者个体的态度和达到教学目标有没有影响?③可行性:如果得到所需的资源(如时间、教学情境),教学的可行性多大?选择学习者:学习者是目标人群中的3个左右的典型代表。根据与学习成就高度相关的影响因素来选择。知识准备:高于平均水平;处于中等;低于平均水平学习态度:积极态度的;一般态度的;消极态度的经历:有10年以上工作经验的;有2到5年工作经验的;工作经验不到一年的。过程设计者向学习者进行必要说明;学习者使用材料;学习者和设计者交流。特点:依赖于设计的交流能力,即能够在自己与学习者之间建立友好信任关系,并进行有效的交流进行有效互动数据信息来源:学习者标注,测试成绩,态度问卷,评价者记录成果:使用的词汇、语言复杂度、例子和图解等方面都更符合预期的学习者;使学习者具备了正确态度和预期的成就,或者为了在后续试验中提高学习者态度和绩效而修改了教学;适合目前的学习者、资源及环境,具有可行性。注意:不要把特定学习者的反应过于一般化。确定学习时间是一对一评价关注的一个方面,但这个从中得到的时间只是大概的,因为包含了学习者和设计者的交流时间,可以按估计减去,但比较不准确。2.小组评价目的:确定在一对一评价后所作的改动是否有效,找出学习者在学习中仍然存在的问题确定学习者是否可以不与教师交流独立地使用教学材料选择学习者:尽量代表目标人群各种类型,大概8-20人。学业水平(高,一般,低);不同母语的学习者;学习方式;学习者成熟度;标准和数据通常是学习者在前测和后测中的分数对教学的态度的问卷以及后续的访谈搜集的关于教学可行性信息包括:学习者完成教学和所要求的绩效评测所需要的时间;以预定形式在设定环境下传递教学的费用和可行性;实施或管理教学者的态度。过程:评价者(或教师)首先向学习者说明教学材料处于开发的形成性评价阶段,需要得到如何改进的意见。然后按照教学材料设计的实际使用方式组织学习者使用。在整个过程中,尽可能减少教师的参与。小组评价后应达到的效果:产生高质量的教学,能在预设的教学环境对大多数目标学习者都有效。3.实地试验在与教学材料最终使用环境尽可能相像的学习环境中进行评价。目的:小组评价后的修改是否有效是否可在最终教学环境下使用选择学习者:尽量挑选一个能代表目标人群的典型单位人群(30人左右)评判标准和数据与小组试验相比相似点:都要决定学习者的表现是否适当,教学的传递方式是否可行;都采集学习者的成绩和态度信息、教师教学过程和态度,以及诸如时间、费用、空间和设备等资源信息。差异:教学材料、学习者、过程、教师和环境的真实程度不同。过程,类似于小组评价,不同在于:设计者角色只能是观察者,教学由一个典型的教师实施和传递,因此设计者要对教师进行适当指导使其了解如何组织进行。考试题减少。经过小规模评价后,前测和后测都已经得到了修正,主要集中在最重要的入门技能和最重要的要教的技能。成果教学能使学习者产生要求达到的学习成绩和态度,并且这个教学要能够在预想的教学环境中正常工作。4.应用环境下的形成性评价教学最终关注的是学习者是否能在实际环境下应用所学技能。因此对教学材料进行形成性评价时有必要进行应用环境下的形成性评价。应用环境下的形成性评价可在形成性评价的任何一个阶段后进行。目的:学习者是否意识到可以在工作场所运用他们学到的新技能,并且是不是已经在这样做了?如果已经使用了这些技能,对组织产生了什么影响?学习者及其同事对改进教学有何建议?对象:参加一对一评价的全部学习者参加小组及场景评价的部分学习者所选学习者所在机构的管理人员或上司,同事或下属过程:在形成性评价的任一阶段结束后,告知学习者以后某个时间会再和他们联系了解这次学习及其作用有效性。在给所学的技能充分的运用时间后,再联系学习者,进行应用环境下的形成性评价。搜集信息:直接观察查看工作表现记录学习者、同事或客户的观点和态度方面的感性数据成果:教学在促进技能迁移上的优缺点;能够更好的支持新技能迁移和运用的地方;对教学的修改建议,以及消除影响新技能在工作场合实施的教学障碍。第三节其他形成性评价对选定材料的形成性评价对教师引导型的教学进行的形成性评价影响形成性评价的因素1.对选定材料的形成性评价目的:确定该材料是否适合于特定环境中的特定人群。找出该材料需要增删之处以及教学步骤中需要变动的地方,以提高材料的使用效果。评价过程类似于现场试验评价进行前测,除非很明确的知道学习者已经具备入门技能,并对要教授的内容缺乏了解;后测和态度问卷,以评价学习者的学习结果和他们对材料的看法;观察学习者使用材料的过程和态度;教师跟随整个过程,听取学习者描述自己对教学的看法。2.对教师引导型教学的形成性评价目的:对教师引导型的教学进行形成性评价的目的和自学材料的基本相同,即确定教学是否有效以及如何改进。评价过程和现场试验阶段最为接近。评价学习者的入门技能、已有知识、后测知识以及学者的态度、提供交互练习和反馈;评价教学过程,观察可以显示分组模式及时间分配是否合适、学习者对各种课堂活动兴趣如何。3.影响形成性评价的一些因素环境方面的考虑所有技术设备都要有效运行。在形成性评价早期阶段,尤其是一对一评价中环境比较安静有助于学习者集中注意力。随后逐步增加对材料在真实的环境下如何工作的认识。学习者方面的考虑在形成性评价的任何阶段选择学习者时,都要避免完全依赖教师确定学习者的入门知识。进行入门知识测试以确定被试是否为该教学材料的目标人群十分必要。关于怎样对待那些已经掌握部分教学内容或不具备入门技能的学习者?是否要将其从形成性评价的学习者中去除?评价结果方面的考虑做好接受否定结果的心理准备:经过了这样深入的教学设计过程,材料并不像你认为的那样有效。正确认识正面反馈的意义。扮演“局外人”。形成性评价实施方面的考虑理想状态下在实施教学前要进行三个阶段的形成性评价,但常常由于时间和资金原因无法做到。在这样情况下设计者应该怎样做?确定在正式实施教学前,是否有条件实施某种类型的形成性评价。如果教学不经任何形成性评价就应用于目标人群,尽可能利用目标人群搜集一些信息以改进教学。