05第五章-量化评价法

教育评价学胡中锋主编《教育评价学》系列公共管理专业教育评价学第五章量化评价法量化评价方法：通过将评价内容化为可以量化的数量，经过测量这些相关数据，并以量化统计方法来分析结果数据，最终达到评价目的的一种方法。信度：一种量化评价方法的稳定性和可靠性，即在同样条件下重复测量，其结果具有的一致性的程度。效度：一种量化评价方法的有效性，即测量结果中包含欲测特质的信息量的程度。重点问题量化评价方法的概念信度和效度的概念与测量进行量化评价的具体方法及其运用各种量化评价方法的异同借助统计分析软件对数据进行统计第一节量化评价法概述一、量化评价的方法论来源实证科学（1）经验证实原则（2）客观主义原则（3）方法中心原则（4）元素分析原则（5）还原论（6）描述性与数量化第一节量化评价法概述二、量化评价法量化评价方法：通过将评价内容化为可以量化的数量，经过测量这些相关数据，并以量化统计方法来分析结果数据，最终达到评价目的的一种方法。量化统计方法：一般量化统计方法——频数、中位数、众数、百分比等。进一步分析数据——运用方差分析、假设检验、因素分析、相关分析、回归分析等。选取何种方法进行量化分析主要取决于评价内容和评价目的。第二节测验法一、主要的测验类型诊断性测验成绩测验学能(学习能力)测验第二节测验法二、测验的信度与效度测验的信度：测验是否有价值，就必须考察测验的质量，包括它的稳定性、可靠性，即在同样条件下重复测量，其结果的一致性。信度的测量：1.分半(split-half)信度2.内部一致性（α系数）3.重测信度（test-retestmethods）4.复本信度（alternate-formreliability）第二节测验法二、测验的信度影响信度的因素主要有：（1）测验本身所引起的误差。（2）测验的实施所引起的误差。（3）学生自身因素所引起的误差。第二节测验法二、测验的信度与效度测验的效度（validity）：测验结果中所包含欲测特质的信息量的程度和对所要测验的特质准确测量的程度，就是测验的有效性和准确性，即效度。效度的测量：1.内容效度(contentvalidity)2.效标关联效度(criterion-relatedvalidity)3.结构效度(constructvalidity)第二节测验法二、测验的效度影响效度的因素主要有：（1）测验组成方面（2）测验实施方面（3）被试主观状态方面（4）估计效度所依循的效标（5）样本方面三、测验的项目分析——难度与区分度项目的难度1.难度的概念：难度是指测验试题的难易程度2.难度的计算（1）客观题难度的计算在教育测量中，客观题的难度一般用正确回答试题的人数与参加测验的总人数之比值来表示。RP=——N式中，P为试题的难度，R为正确回答客观题目的人数，N为参加测验的总人数。三、测验的项目分析——难度与区分度（一）项目的难度2.难度的计算（2）主观题的难度的计算。主观题的难度等于该题考生所得分数的平均值与该题应得的满分之比。以Pi表示试题的难度，其计算公式是：Pi=Xi/fi(i=1,2,…,Q)式中，Xi为各题考试分数的平均值，fi为各题的满分值，Q为试题个数。三、测验的项目分析——难度与区分度3.难度对测验的影响（1）测验难度影响测验分数的分布形态（2）测验难度影响测验分数的离散程度（3）测验难度影响测验的鉴别能力4.测验的适宜难度5.控制题目难度的基本方法三、测验的项目分析——难度与区分度（二）项目的区分度1.区分度的概念：区分度是指测验对考生实际水平的区分程度，区分度又叫鉴别力。它是评价试题质量，筛选试题的主要指标与依据。区分度的计算方法有两种：（1）将学生按其考试总分排序，取高分之27%定为高分组，取低分之27%定为低分组，然后分别计算高分组和低分组考试分数的平均值，按以下公式计算各题的区分度：di=(Xhi-Xli)/fi(i=1,2,…,Q)式中，di为第i题的区分度，Xhi为第i题高分组的平均分值，Xli为第i题低分组平均分值，fi为第i题的满分，Q为题目数。三、测验的项目分析——难度与区分度（二）项目的区分度1.区分度的概念（2）采用相关计算方法计算学生各题得分与考试总分的相关系数r。区分度系数一般情况亦为(O≤r≤l)。r越趋向于1，说明学业水平高的学生考试成绩也高，学业水平低的学生考试成绩也低，即所谓正区分；r越趋向于0，说明学业水平不一的学生考试成绩没有差异即所谓零区分；区分度系数有时会出现负相关，r0，说明学业水平高的学生反而考试成绩低，学业水平低的学生反而考试成绩高，即负区分。三、测验的项目分析——难度与区分度2.区分度与测验信度、难度的关系（1）区分度与信度的关系（2）区分度与难度的关系3.提高区分度的方法。第一，使题目的难度适中，使整个考试难度适中。第二，要着重考查复杂的学习结果，提高区分度。第三节问卷法通过问卷（questionnaire）进行调查的研究方法，在心理学、社会学、人类学等领域都被广泛运用，因为这种方法能够在比较短的时间内收集到尽可能大的被试样本的资料和内容，可以说在量的角度上有比较大的优势。第三节问卷法一、问卷设计（一）明确评价目的要设计问卷对学生进行评价，必须首先明确具体的评价目的，包括评价对象（即目标群体，focusgroup）、评价内容、相关的专家对该评价提出的好想法。第三节问卷法（二）问题的类型问卷中问题形式的设置可以分为开放式、封闭式和半封闭半开放式三类。（三）问卷的用语问卷的指导语要清晰、简洁，以简短的话语说明问卷的目的、作答方式以及所需要的时间。问卷用语尽量本土化。在问卷题目中要避免情绪性词语、负载性问题（loadedquestions）、引导性问题（leadingquestions）、一题多问（doublequestions）以及假设性问题（hypotheticalquestions）。第三节问卷法二、问卷数据的收集在问卷正式使用于大量的调查之前，首先要做小样本的测验，包括对问卷用语的规范性、通俗性、明确性以及结合统计分析对问卷题目的设计作相关的信度和效度的检验等，都是确保调查能在更大程度上达到评价者的目的，也使评价者能够作出更科学合理的评价。（一）现场问卷法（二）电话访谈法（三）面谈问卷法（四）邮件问卷法第三节问卷法三、案例分析四、问卷数据的统计分析（一）集中量数（二）差异量数（三）标准分数（四）相关量数（五）均值比较与检验（六）方差分析（七）回归分析第四节实验法一、实验法（一）实验研究方法的特点和类型实验研究方法是研究者在主动控制条件下对事物的观察，它能对所观察的事物进行因果说明。此研究方法的特点是：第一，带着特定的目的；第二，设置条件，做好充分准备；第三，可重复；第四，可以确定因果关系。（二）实验研究的设计和程序（三）举例分析第四节实验法二、准实验研究（一）准实验研究的特点：准实验研究是介于真实验研究和非实验研究之间的研究，对无关变量的控制比非实验研究严格，但是不如真实验研究对无关变量的控制得严格，通常没有对被试随机抽样，可以设计控制组，但是实验组和控制组的背景条件不能保证相同。（二）举例分析第五节其他量化评价方法一、运用评价量规进行学生评价评价量规（rubric）是一种评分工具，包含了对某项任务的评价标准，通过对各标准的评分对教学进行评价。（一）评价量规的设计（二）评价量规的使用及案例第五节其他量化评价方法二、基于案例推理的智能学生评价方法案例推理基本流程图第五节其他量化评价方法三、可拓评价方法复习思考题1.信度和效度分别指什么？如何检验测验的信度与效度？2.如何进行测验的项目分析？3.设计问卷时需要注意的问题有哪些？应如何解决？4.运用实验法进行评价时，如何理解自变量、因变量和无关变量？三者的关系如何？5.简述常用的数据分析与统计方法。