目标参照测验目标参照测验概述心理测量工作者的要求目标参照测验的信度与效度目标参照测验的项目分析测验分数的解释第一节目标参照测验概述一、目标参照测验的产生(一)常模参照测验的发展及其局限•20世纪初,“相对能力”的测量•此后,测量的一个基本出发点就是度量与比较个体间的差异,以被试在团体中的相对位置来评价和解释测验结果。逐渐发展出了常模参照测验。•并非所有测验都只关心个体间的差异。有些测验目的在于了解和界定个体在测验内容上掌握的绝对水平。(二)目标参照测验的兴起•1962年,戈莱赛和克劳斯首先提出目标参照测验的概念。二、目标参照测验的定义•主要目的在于了解个体在所规定的测量内容上的行为水平,因此其出发点是个体本身的绝对水平。•目标参照测验,是根据某一明确界定的内容范围而缜密编制的测验,并且,被试在测验中所得结果,也是根据某一明确界定的行为标准直接进行解释的。三、目标参照测验的应用•常模参照测验适用于选拔性考试和总结性评定。•目标参照测验适用于诊断和发现学生的不足,从而为改进教学提供反馈信息。第二节目标参照测验的项目分析一、内容范围的确定•一个测验的内容范围包括所欲测量特质中蕴涵的全部行为。•内容范围的共同特点:–1.具有边界–2.具有结构。每一内容范围均可分为几类,每一类中又可以分为更小的类。•特定测验目的的确定为内容范围的界定提供依据。•界定的结果常常以双向细目表形式呈现。•命题细目表由3个要素构成:考查目标、考查内容和比重。识记理解应用分析综合评价合计唐诗88442228文言文64642224新诗86442226散文64622222合计2822201488100二、测验项目的内容效度分析•检验题目与测验内容范围所要求的内容与目标的一致性。•通常采用专家评定法。三、测验项目的难度和区分度分析(一)测验的预测预测方法:1.前测-后测方法2.已接受教学组-未接受教学组方法3.对照组方法(二)测验项目的难度分析•目标参照测验的项目难度计算与常模参照测验相同,一般以通过率来表示。往往并不必要。•目标参照测验项目难度的计算,大多情况下只是作为项目区分度分析的基础。(三)测验项目的区分度分析1.难度差值(1)掌握组——未掌握组鉴别指数(D)D=PA-PB•D的大小,可以直接反映出该项目在多大程度上对未掌握者和掌握者作出了区分。•D值从-1.00到+1.00之间变化,越接近于+1.00,题目区分度越高,说明题目越有效。(2)个人获得指数(DIG)•采取前测-后测法,可获得在前测中错误回答某项目而在后测中能够正确回答的被试人数比例,即该项目的个人获得指数。•其值在0—+1之间,其大小直接反映了教学活动后收益的被试比例。2.相关系数•以项目得分和测验总分之间的一致性程度作为项目区分度的指标。第三节目标参照测验的信度与效度一、信度及其估计•信度是指测量结果的一致性或稳定性。•常模参照测验的信度评估中,通常是以相关系数作为信度指标。•目标参照测验不适合以相关系数来表示信度。(一)分类一致性信度•目标参照测验在分数解释上最常见的做法就是将被试分类,根据某一分数分界点将被试分为掌握和未掌握两类。•对测验的分类一致性的度量指标,称作分类一致性信度。考察被试在同一测验的两次施测中或两个复本的施测中是否被分在同一类。•测验A及格不及格测验B及格ab不及格cdp0=(a+d)/N,式中,N=a+b+c+d评价:优点是计算简单,意义直观易懂。缺点与再测法和复本法相同。影响因素:1.测验长度2.被试分数分布3.测验分数分界点的确定。(二)方差分析方法——荷伊特信度按照荷伊特的观点:一组测验分数的总变异数可划分为三个来源:人与人之间的差别,题目之间的差别以及人与题目之间的交互作用的差别。rxx=1-MS人×题/MS人二、效度及其估计(一)内容效度•评价任一测验的内容效度,都依赖两个条件:(1)测验有明确界定的内容范围(2)对测验每一题目的内容效度的分析(二)效标关联效度•目标参照测验以“决策效度”来评估校标关联效度。•计算步骤:–依据分数分界点将测验结果分为及格与不及格–选用“是否接受过相应教学活动”或教师评定结果为校标,将被试分为掌握组和未掌握组;–计算掌握组在测验中及格人数占总人数的比例和未掌握组中不及格人数占总人数的比例;–两个比例相加结果为决策效度。第四节测验分数的解释—分数分界点的确定•目标参照测验结果的解释是参照分数分界点进行的。•就目标参照测验本身而言,分数分界点并非必需。•从理论上说,并不存在可以清晰辨别的掌握者和非掌握者。•在目标参照测验的实际应用中,分数分界点的确定却是无法逃避的问题。一、专家判定法•这种方法是在测验的内容范围明确界定的基础上,由专家来判断处于临界水平的被试在每一题目上正确回答的可能性,进一步以此为标准确定分数分界点。•临界水平的被试是指那些由未掌握水平转入掌握水平的被试。(一)Nedelsky方法•针对由多重选择题组成的测验,由专家判断处于临界水平的被试在每一题目上有能力排除的错误选择项,从而计算其正确回答的可能性,再求出每一题上正确回答的可能性之和,即为测验分数分界点。(二)Angoff方法•由专家直接判断处于临界水平的被试在某测验中对每一题目正确作答的可能性(记为Pi),设每一题的满分为Fi,则该测验的分数分界点λ为:λ=ΣFiPi二、效标组预测法(一)临界组法•由专家判定和选择一组正处于临界水平的被试接受测试,计算他们的平均成绩,以此作为测验分数临界点的估计值。(二)对照组法专家判定和选择两组被试,一组为掌握组,另一组为未掌握组,对其施测,两组测验成绩原始分数分布图的交叉点即为测验分数分界点。•以上方法都可看出,标准参照测验中确定合格分数都十分重视利用专家经验。ThankYou!