第十一章设计并实施总结性评价评价需求确定目的进行教学分析分析学习者和环境编写绩效目标修改教学开发评价方案开发教学策略设计并实施教学的形成性评价设计并实施总结性评价开发和筛选教学材料主要内容总结性评价概述总结性评价的阶段总结性评价与形成性评价比较概念:设计评价研究,收集数据,验证教学材料对目标学习者的有效性。目的:决定是否继续采用当前所用的教学材料,或是否采用有可能满足组织所定义的教学需求的材料。对象:可以对多种教学产品进行比较,也可以只研究一种新方法的效果。主题:基调有所变化:从“谁最好?”到“谁最好地满足了组织的需求?”人员:外部评估人员第一节总结性评价概述第二节总结性评价阶段专家评定判断当前所用的教学或其他候选教学方案是否能够满足组织所定义的教学需求。现场试验记录有望采用的教学在预期的环境下对目标人群的有效性。1.专家评价阶段目的:该材料是否有可能满足组织需要?内容:一致性分析:组织的需求和目标是否与教学中陈述的一致?内容分析:内容是否完整、精确、不过时?设计分析:材料是否基于某种教学理论,如动机激励?可用性分析:该材料对当前用户来说是否方便、耐用,有较好的性价比和满意度?(1)一致性分析组织的需求:确定组织需求、目标学习者的特征与备选材料旨在满足的需求和特征之间的一致性。资源:分析组织可供购买教学材料和实施教学的资源与获得和安装备选材料的成本之间是否一致。(2)内容分析聘请专家,并提供所有备选材料,评判材料是否准确、是否完整的回应了组织所提出的目标;与专家合作,完成对所提出的目标的教学分析。(3)设计分析评价备选材料中所含教学策略的成分是否恰当。可设计检查、比较备选材料的核查表。(4)有效性和可行性分析有效性:是否有学习指南、课程大纲或教学手册可用等。是否能持久使用。可行性:需要集体学习还是个别化学习。获得和实施教学的相对成本问题。(5)当前用户分析关于其他情境中目标学习者的数据:如入门技能和动机、前测和后测成绩以及态度等。教学者对材料的感受:如材料好用、使用中遇到的问题、需要的资源、是否继续使用及其原因。2.实地试验阶段目的:这些材料在指定的环境下对于目标学习者是否有效?内容:结果分析管理分析过程:评价计划、准备实施、实施教学和收集数据、总结和分析数据、报告结果结果分析对学生的影响:教学之后对学生的成就和动机水平是否满意?对工作的影响:学习者是否能够将信息、技能和态度从教学环境迁移到工作环境或者与教学相关的后续单元中?对组织的影响:学生的行为改变对组织的使命和目标产生了正面影响,如降低了辍学率,辞职率,改进了出勤率,成就;增加了生产率和成绩。管理分析教员和管理者的态度是否满意?所建议的实施过程是否可行?与时间、人员、设备和资源相关的费用是否合理?(1)计划现场试验的设计准确性依赖于需求评估、材料性质以及是否包含其它备选材料。清晰描述评价中需要回答的问题包含结果分析和管理分析的信息迁移情境中的行为表现的信息资源、辅助设施和设备目标学习者为教师开发指南乃至培训(2)准备以计划阶段所作的决策为依据,包括获取所有预定的材料、设备、资源和人员。(3)实施教学、收集数据方法:成绩测量、观察、访谈和问卷等数据类型:取决于问题和资源。至少需要前测和后测数据以及关于学习者对材料和程序的感受方面的信息。(4)总结和分析数据同行成性评价的实地试验中使用的数据分析技术。编制目标——题目表,总结小组和个体学习者的成绩。分析数据时,查明教学的无效部分及问题的成因。指明教学的有效部分。(5)报告结果描述基本目的、具体问题、设计和程序、结果,以及建议和理由。建议理由,应该以结果部分呈现的数据为依据。第三节总结性评价和形成性评价比较目的阶段或步骤教学开发历史材料评估人员的立场结果形成性评价总结性评价目的为修改教学,找出其中的不足查明教学中的优点和不足,从而确定保留还是舍弃教学阶段一对一评价小组评价现场试验专家评价现场试验教学开发历史经过系统化设计,并参照组织需求进行修改经过系统化设计,或不按系统方法设计材料一套材料一套材料或几个备选材料评估人员的立场是教学设计和开发团队的成员一般是外部评价者成果为修改教学提出一份方案提交一份报告,含有设计、程序、结果、建议和理由