搜索
第五讲教育评估指标体系的设计•评估指标、评估指标体系•评估指标体系的设计过程•评估指标权重的设计一、评估指标和评估指标体系1、评估指标、评估指标体系评估指标:将具有原则性、概括性和抽象性特征的评估目标，逐级分解，使之最终成为具体的、行为化的、可测定的分目标，称为指标。指标体系:一系列经系统化了的指标集合，称为指标体系。2、指标的特征受目标的严格制约一个指标只能反映目标的一个局部可测量、可比性可塑性导向性二、教育评估指标体系的设计1.评估目标、内容、对象的确定2.指标体系的设计原则3.指标体系概念4.评估标准的建立5.指标的权重1.评估目标、内容、对象的确定(1)•目标通过评估达到什么目标？促改进、选优秀、解决问题、为决策服务等内容为达到评估目标需要评估什么？资源、辅导、设施、规模等1.评估目标、内容、对象的确定(2)•对象从被评者或被评活动获得评估内容的信息，能对此做出判断。教师、学生、操作、听课等•标准评估活动依据哪些文件、规章做标准•时限评估开始和结束时间2.指标体系的设计原则•一致性•可测性•独立性•完备性•可比性•可接受性•导向性一致性指标必须充分地反映目标，与评估目标保持一致。可测性•各具体指标都应能用操作化的语言来界定，要求它所规定的内容是可以通过实际观察或直接测量来获得明确结论的。独立性•同一指标体系内的所有指标，都是同一目标的分解。体系内各项指标要求相互独立，是指各个指标间既要协调一致，不矛盾，又要相互独立，不重叠、不存在互为因果的关系。完备性•由于指标体系应包含所有的重要指标，因此，指标体系的整体完备性原则，又可称为“全面性原则”。要求指标体系内的各项指标在相互配合中反映目标，目标存在于指标体系的总和之中。可比性指标体系的可比性原则要求所有指标必须都反映出被评估对象的共同属性，被评对象属性的一致性，是各个具体对象使用同一指标体系的前提，也正是其可比性的基础。可接受性•要求指标体系的设计必须切实可行，故又可称为“可行性原则”。指标体系的设计者必须从实际出发，使评估者能够通过指标体系来对被评估对象作出区分和判断。导向性指标设计应该有一个正确的导向性，是一种可实现的期望，同时使被评对象和参评者明白努力方向和达标的要求，为此而创新、而改进，不断开创发新思想，不断做出新贡献。注意几个问题•独立性——相对的•完备性——满足评估需要，不求全•导向性——是期望、是方向，可实现的3.目标分解（1）头脑风暴法（BrainStorming）利用头脑的积极思维，进行智力碰撞，激发智慧灵感，从而提出评价指标的一种常用方法。个人头脑风暴法多人头脑风暴法（2）因素分解法按照评价对象本身的逻辑结构逐级进行分解，把分解出来的主要因素作为评价指标的一种方法。形式：其一，从内容分析入手，抓住事物的本质属性，然后把这一属性的现象性外观表现确定为指标；其二，从分析事物间的相互联系入手，抓住事物变化后所产生的效应，把事物变化所产生的效应确定为指标；其三，抓住事物的全部属性或相关属性，把与被评事物有关的因素群确定为指标。目标分解指标体系一级指标二级指标三级指标队伍教师技术人员管理人员教学条件经费研究人员设施4.评估标准的建立（1）标准（2）标准分类（3）标准的形式（1）标准标准是衡量事物的准则•标准的强度与频率——强度指评估标准要求的程度或各种规范化行为所表现的优劣程度；频率指项目要求的数量或各种规范化性行为的相对次数；•标号——不同强度和频率的标记符号，通常用字母（如A、B、C）、汉字（甲、乙、丙）、数字（1、2、3）表示分类，没有独立的意义，赋予某种意义，才具有意义，是评价标准的辅助部分；•标度——指评定时的档次，是达到标准的程度，说明什么样的程度属于什么等级。如测验：100-90分为优秀；89-75分为良好……（1）标准——举例指标（教师）评估标准标度标号教育技术知识各专业教师要进修学习相关的教育知识和技术知识，有相应的结业或毕业证书。教育学心理学教学法信息技术课程制作12345（2）标准分类•评估手段——定量标准、定性标准；•评估尺度——类别标准、等级标准、等距标准、比值标准、隶属度标准；•认识论范畴——主观标准、客观标准；•辨证法范畴——绝对标准、相对标准。隶属度是模糊数学的概念隶属度、隶属标准？若对论域（研究的范围）U中的任一元素x，都有一个数A（x）∈0，1与之对应，则称A为U上的模糊集，A（x）称为x对A的隶属度。当x在U中变动时，A（x）就是一个函数，称为A的隶属函数。隶属度A（x）越接近于1，表示x属于A的程度越高，A（x）越接近于0表示x属于A的程度越低。用取值于区间0，1的隶属函数A（x）表征x属于A的程度高低。（3）标准的形式•描述——用文字描述每个不同要素的等级；•期望评语——写出期望达到的要求；•可数等级式——定量数值作为标准。描述式标准指标标准（要求、标号、标度）分值教学资料收集与保存状况(1)已把全部各类教学资料收集并妥善保存(2)只把优秀课程(精品课程或核心课程)以及部分教学参考资料保存(3)有计划地收集部分教学资料(4)无计划地，临时性收集部分教学资料，但无确定的使用目的和计划4321期望评语式标准期望评语指标等级标准（要求、标号、标度）分值讲授概念准确，条理清楚(1)非常满意(2)基本满意(3)过得去(4)不满意4321客观可数等级式标准指标标准（要求、标号、标度）分值学校提供给学生拥有互联网计算机(1)每台/6—9人(2)每台/10—14人(3)每台/15—19人(4)每台/20人以上4321标准体系的特征•完整性——指标的标准互相补充，构成一个完整的整体；•协调性——指标的标准之间互相衔接、互相一致、协调发展；•比例性——指标的标准之间存在着一定的数量比例关系；•运用测量学有关知识。5.指标的权重（1）概念（2）确立权重的方法（3）权重的检验（1）概念•某项指标在同层指标中或在指标体系中的重要性程度。英语试卷知识和能力满分（100）权重听力词汇阅读完型填空纠错改错翻译写作151030101010150.15o.100.300.100.100.100.15（2）确立权重的方法•经验•特尔斐法•因子分析方法经验---非数字分配核心指标•在末级指标中一般由设计者凭经验确定核心指标和非核心指标，强调了重要指标、次要指标的关系；•在评估中确定优秀、合格、不合格的结论与核心指标和非核心指标的相关。达到多少核心指标和非核心指标为优秀、合格、不合格的评估结论。经验---数字分配教材权重教材内容编排方法写作风格使用效果1.000.400.100.200.30重要性1432经验法特点•评估者集体商量；•操作简单；•评估者主观性强；•认识上容易互相影响。特尔斐法•编制表格：每级均要编制表格，由专家填写；•选择专家：有一定经验，10—50人之间；•几次反馈：持不同意见在20%左右，认为达到咨询要求；•结果处理：集中量——平均值离散度——变异系数终止咨询——协调系数特尔斐法特点•使用方便•专家之间不受影响•周期长•运用统计学知识因子分析法（SPSS统计软件）对变量相关系数矩阵内部结构的研究，找出能控制所有变量的少数几个公因子去描述多个变量之间的关系。这些较少的几个综合指标不相关，所代表的信息不会重叠，而包含的信息又较多，由此达到简化观测系统，降低变量的维数，用少数几个变量子集来解释整个问题的目的。（3）权重的检验相关检验法：一组专家对N门课不分指标的综合评估，请另一组专家按指标对N门课进行评估，加权平均，得到合成分数值，然后计算两组的相关系数。•P~1相关程度高，指标权重相当合理•N10，P0.5，指标权重可认为是合理的•各分层指标进行相关检验美国中北部高等教育院校认证标准作业：假设你是某文科学院的研究生辅导员，工作需要你对进入二年级的研究生进行学业奖学金评定（一等奖3万元、二等奖2万元、三等奖1万元）评定目标：奖励优秀，程序公开，结果公平。请你结合本节课所讲的内容，草拟一份研究生学业奖学金评定指标体系。