第七章_目标参照测验

第七章目标参照测验第一节目标参照测验概述第二节目标参照测验的项目分析第三节目标参照测验的信度和效度第四节测验分数的解释第一节目标参照测验概述一、目标参照测验的产生20世纪早期，出于解释测验原始分数含义的需要，西方早期心理与教育测量学专家提出了相对能力的测量，由此发展起来的测验模式就是常模参照测验，随之发展了常模参照测验项目分析、信效度分析及分数解释的方法。20世纪中期，人们发现了常模参照测验的局限：并不是所有的测验都只关心个体间的差异，有的测验目的在于了解被试在测验内容上掌握的绝对水平。问题：怎样通过测验评价被试在教学活动中对内容的掌握程度？这一测验的目的在于确定在某个教学领域内，被试是否掌握了该教学领域的知识和技能，了解被试在该领域的困难，并对其有目的地加以教学辅导与补救。由于常模参照测验不能解决这一问题，目标参照测验应运而生。1962年，戈莱塞、克劳斯首先提出了目标参照测验的概念。二、目标参照测验的定义1971年，戈莱塞把目标参照测验明确界定为：根据某一明确界定的内容范围而缜密编制的测验，并且，被试在测验中所得的结果，也是根据某一明确界定的行为标准直接进行解释的。“内容范围”------要有边界；明确的结构（专家评定法）“行为标准”——分界点。第二节目标参照测验的项目分析一、内容范围的确定内容范围要有边界每一内容范围均可分为几类主要形式：双向细目表第二节目标参照测验的项目分析二、测验项目的内容效度分析专家评定法第二节目标参照测验的项目分析三、测验项目的难度和区分度分析测验的预测项目的难度项目区分度1．测验的预测前测—后测方法（同一组被试）已接受教学组—未接受教学组方法（两组被试）对照组方法（两组均接受了教学的被试，教师评定掌握组和末掌握组，进行比较）2．项目的难度相对于标准的高低通过率3．项目区分度难度差值个人获得指数：个体在前后测中答题的变化。掌握组—未掌握组鉴别指数D相关系数（1）个人获得指数D=Ppost－PpreD=个人获得指数Ppost=后测中（已接受教学组）的通过率Ppre=前测（未接受教学组）中的通过率问题：练习效应；D值低难以区分是教学不良还是题目区分度不好。（2）鉴别度指数B=U/n1－L/n2B：某一测题在达标分数线为某一特定值时的区分能力U：掌握组中正确回答了某题的人数n1：掌握组的人数L：未掌握组中正确回答了某题的人数n2：未掌握组的人数问题：依赖具体的达标分数线。（3）相关系数求取项目得分和测验总分间的一致性程度，计算方法同常模参照测验。指标：[-1,1]，当其值为负时，应检查题目的问题所在，进行修改或删除；当其值为正值时，越接近于1，题目越有效；当其值为0时，题目不具有区分力，一般不予保留。注意：在纯粹的目标参照测验中应视题目所测内容范围中的特殊性而决定取舍。第三节目标参照测验的信度与效度信度估计效度估计1．信度估计分类一致性信度方差分析方法（1）分类一致性信度目标参照测验常根据某一分数分界点将被试分为掌握者和未掌握者两类。常用的估计方式是考查被试在同一测验的两次施测中或两个复本的施测中是否被分在同一类中。（再测法和复本法）一般采用同一被试团体在两次测验结果中均被分为及格或不及格类别中的人数比例作为分类一致性信度的指标。分类一致性信度计算测验A及格不及格abcd及格不及格测验B如图所示，测验的分类一致信度为两次施测中均为及格和均为不及格的人数占总人数的比例，p=（a+d）/N例：一个80的团体，在某测验的两次施测中有41人均及格，有21均不及格，那么，该测验的分类一致性信度是多少？（41+21）/80≈0.77试问:1、分类一致性信度的最大值是多少?2、分类一致性信度受哪些因素的影响？（2）方差分析法利用方差分析的方法，找出个体水平的真正变异在总变异中的比例。计算公式同常模参照测验的信度计算（P53，4.14）2．效度估计内容效度效标关联效度（1）内容效度因为目标参照测验主要考察的是被试在所测内容范围内的掌握程度，因此，测验的内容效度非常重要。评估测验的内容效度依赖两个条件：①测验有明确界定的内容范围②对测验每一题目的内容效度分析（2）效标关联效度在目标参照测验中常用“决策效度”来评估其效标关联效度。所谓的“决策效度”是指在预测源测验和效标测验中均通过和均不通过的被试人数百分比例。例：根据预测源测验将被试分为掌握组（A，30人）和未掌握组（B，15人）；在后续的效标测验中A组通过25人，B组未通过人数为10人，则该测验的效标关联效度是多少？25/45+10/45≈0.78第四节测验分数分界点的确定专家判断法效标组预测法一、专家判断法1、Nedelsky方法主要针对多重选择题组成的测验而言，由专家来判断处于临界水平的被试在每一题上有能力排除的错误选项，从而计算其正确回答的可能性，再求每一题上正确回答的可能性之和，作为测验分数分界点。例：某测验由四择一的选择题构成，某题A、B、C、D四个答案中A是正确的，若专家判断处于临界水平的被试可以正确排除B和D，那么在该题上正确回答的可能性为1/（4-2）=0.5。最后对每一题求和，可得及格线。2、Angoff方法由专家直接判断处于临界水平的被试在某测验的每一题目正确作答的可能性（Pi），设每题的满分为Fi，则该测验的分数分界点（λ）为：λ=∑FiPi二、效标组预测法1、临界组法由专家判断和选择一组正处于临界水平的被试，将测验施测于该组被试，计算他们在测验上的平均成绩，以体现测验的内容范围所要求的临界水平，因而可视该平均成绩为测验分数分界点的估计值。注：该方法的困难在于临界水平被试的选择和评定。2、对照组法先采取专家评定的方法确定两组被试，一组被明确判为掌握组，另一组被明确判为未掌握组，那些不容易被判为“掌握”或“未掌握”的被试一概剔除。对这两组被试施测，可得到两组被试原始分数分布图，分布图中两条分布曲线的交界点即为测验分数分界点。本章小结目标参照测验是根据某一明确界定的内容范围而缜密编制的测验，并且，被试在测验中所得结果也是根据某一明确界定的行为标准直接进行解释的。目标参照测验的三种预测方法（前后测法；对照组法；接受-未接受组法）。测验项目的难度一般以通过率表示，区分度一般采用难度差值和相关系数两类指标。目标参照测验的信度估计方法有分类一致性信度和方差分析方法两种。目标参照测验的效度估计有内容效度和效标关联效度两种。测验分数分界点的确定有专家评定法和效标组预测法两种。