第九章测验质量分析

第九章测验质量分析[本章提要]通过本章的学习，掌握题目难度和区分度的概念和计算方法，了解题目难度和区分度的之间的关系，理解题目难度、区分度与测验质量之间的关系。理解测验信度与效度的含义，掌握测验信度与效度的基本估计方法，了解影响测验信度与效度的因素。第一节题目难度的概念和计算方法一、题目难度的概念和意义（一）题目难度的含义题目难度是指被试完成试题的难易程度。（二）题目难度与测验的关系题目难度影响测验的难度分布和平均难度，从而影响测验的信度、效度以及测验结果区分被试水平高低的能力。二、难度的计算（一）二值记分法题目的难度计算当题目分数是二分变量(即答对为1，答错为0，如选择题)时：式中：P为题目难度值，R为答对或通过该题的人数，N为全体考生数。例题1：在一测验的某道选择题上，100名被试中选择正确答案的有37名。则该题难度为：37.010037NRPNRP（二）非二值记分法题目的难度计算当题目分数是多分值时，难度是全体被试在该题上的平均数与该题满分的比例：式中：PXmax是题目满分。MAXXXP例题2：一组被试在某道题上得分分别为2，5，9，10，4，8，7，5，3，0。该题满分为10分。则该题难度为：53.01010)03578410952(MAXXXP三、测验难度的选择一般常模参照测验题目难度分布近似正态。特定的测验题目难度的分布应该根据测量的任务而定。第二节区分度的概念和计算方法一、区分度的含义区分度是指试题能区分被试水平能力的程度。二、区分度的计算（一）区分度的相关计算法它是求试题分数与总分的相关系数作为区分度的指标。22)()())((YYXXYYXXr或pqXXrtqppb例如：根据下表数据求区分度。序号XYXpXq187187285085382182480080580080678078778178875075合计6453247398平均数82.379.6标准差3.67解题步骤：..\区分度.xls36.0858367.36.7933.82pqXXrtqppb（二）区分度的分组计算法它是首先将全体被试按总分高低进行排队；然后，将得分较高的27%的被试作为“高分组”，将得分较低的27%的被试作为“低分组”；最后求两组在试题上得分率的差。即：D=PH-PL式中：D为区分度；PH为高分组的得分率；PL为低分组的得分率。例如：某班40名学生，“高分组”做对第一题的有8人，“低分组”做对的有4人，那么，该题的区分度为：D=PH-PL=8/11-4/11≈0.36三、区分度的评价区分度的取值范围–1≤D≤1。当用分组计算法得到的题目区分度大于0.4时，区分度的分组计算法被认为是性能良好的试题。第三节测验的信度一、信度的概念信度是指测验结果的可靠程度。二、信度的统计学原理rxx=S2T/S2X式中：rxx表示信度系数；S2T表示真分数方差；S2X表示实得分数方差。有关系式：X=T+E其中，X为实得分数；T为真分数。三、信度系数的估计方法1．稳定性系数（再测信度）它是同一被试总体用同一试卷间隔一段时间后两次测验所得数据的一致性程度。通常用相关系数作为其估计值。2．等值性系数（复本信度）它是同一被试总体用两份等值的试卷，在间隔很短的时间内先后两次测验所得数据的一致性程度。通常用相关系数作为其估计值。3．内部一致性系数（1）分半信度系数在测验没有复本且只能实施一次的情况下，可将测验项目分成对等的两半，根据学生在这两半测验中所得的分数计算相关系数rhh，然后用斯皮尔曼-布朗（Spearman-Brown）公式对其值加以校正，即得分半信度。式中：rtt为分半信度系数；rhh为两个“半测验”的相关系数。hhhhttrrr12例：用一个由100题构成的试卷测试10名学生，测试结果如下表，求测验的分半信度系数。学号奇数题总分偶数题总分138372373733836441395403963634738388393994039103536解题步骤如下：1、先求两分测验的相关系数rhh。..\分半信度.xls学号奇数题总分偶数题总分1383723737338364413954039636347383883939940391035360.842、然后求分半信度系数rtt。91.084.0184.0212hhhhttrrr（2）α系数若测验中各个题目得分相关较高时，不论题目的内容或形式有何差别，测验都为同质；相反，即使所有题目看起来都好像是测量同一特性，但题目得分之间的相关很低，测验仍然是异质的。测验越同质，同质性信度的值也越大，则说明试题的内部一致性程度越高。因而，同质性信度又称作内部一致性系数。计算同质性信度的方法可用克龙巴赫（Cronbach）所创的α系数公式：式中，N为题目数；Si2为各被试在第i题得分的方差；St2为各被试测验总分的方差。)1(122tiSSNN例:5名被试参加一个包含6道试题的测验，测验结果如下表，求该测验的信度系数。题号被试Si2ABCDE1711811113.042697891.3636106892.5648116836.965711811113.046711811113.04合计41634357542070.24解题步骤如下：1、求各被试在第i题得分的方差Si2。2、求各被试各自的总分。3、求方差Si2的和ΣSi2，以及各被试总分的方差St2。..\α系数.xls4、求α系数86.0)24.70201(166)1(122tiSSNN4．评分者信度系数对于无法完全客观记分的测验，评分者的主观因素对测验结果的影响是很大的，因此需要控制评分误差和研究评分者信度。评分者信度的估计可以分为两种情况：（1）2人同时评多份相同的试卷这种情况可以用2人评分的相关系数作为评分者信度的估计值。例如:两位教师评三份试卷，求其评分者信度系数试卷教师X教师YDD2112-112211133300合计25.0)13(3261)1(61222NNDRr（2）多人同时评多份相同的试卷当由多个评分者同时评多份相同的试卷时，需用肯德尔和谐系数（Kendallcoefficientofconcordance）W作为评分者信度的估计值，其计算公式有两个。①无重复评定等级的W系数)(12132NNKSW式中：S为各题等级之和的离差平方和，即或Ri为各试卷评定等级之和；K为评分者的人数；N为试卷的份数。2)(iiRRSNRRSii22)(②有重复评定等级的W系数式中：n是相同等级的个数。TKNNKSW)(1213212)(3nnT例如：三位教师评四份试卷，所评等级如下表，问该测验的评分者信度如何？教师试卷1234A3142B2141C2232Ri74115解题步骤：（1）先计算ΣRi和ΣRi2ΣRi=7+4+11+5=27ΣRi2=72+42+112+52=211（2）计算S75.284)27(2112S（3）计算ΣT5.012223BT212333CT5.225.0CBTTT（4）代入公式W63.05.23)44(312175.2832W（5）查表，检验W的显著性因为，K=3，N=4时，临界值S0.05≈64.4，由于S＜S0.05，所以，W不显著性，即表明三位教师的评分者信度较低。（K在3——20之间，N在3——7之间时，查附表5求临界值S0.05或临界值S0.01；若N＞7，检验W的显著性用χ2=K（N-1）W，按df=N-1查χ2值表进行比较。）参考书目：1.王汉澜主编《教育测量学》2.宋岭梅主编《教育测量学》四、影响信度的因素被试样本的影响。题目数量的影响。测验难度的影响。测验内容同质性的影响。评分客观性的影响。第四节测验的效度一、效度的概念效度是测验能实际测量出其所要测量特性的程度。二、效度的统计学原理rxy=S2v/S2X式中，S2v潜在真分数方差；S2x实得分数方差。有关系式：X=T+E=V+I+E其中，V为潜在真分数；I为系统误差。三、估计效度的方法1．内容效度(Contentvalidity)内容效度指的是测验题目对有关内容或行为取样的适当性。（1）专家判断法采用专家判断法可以按下面的步骤进行：①定义好内容总体的范围；②确定考查内容或行为的细目；③列出双向细目表；④制订评定量表。（2）统计分析法统计分析法又称克龙巴赫估计法。克龙巴赫曾提出估计内容效度可以从同一教学内容范围的总体中抽取两套独立的测验试题，这两套测验试题对同一组考生分别进行两次测验，如测验得分求得的相关系数高，就可推论内容效度高；若相关系数低，这两套试题中至少有一套测验试题缺乏内容效度。（3）再测法这种方法是，先对一组考生进行先期测验，这一组学生必须是对测验的内容知之甚少，然后对这一组学生进行有关内容的教学与训练活动，经过一段学习时间后，再进行后期测验，这样可以看出测验是否测量出深堂上所进行的教学与训练的效果。如果后期测验成绩好，就说明该测验对课程内容范围是有效的。2.效标关联效度(Criterionrelatedvalidity)效标关联效度指的是测验分数与效标分数之间的一致性程度。效标（criterion)。效标实际上是指本测验所想测量或要预测的特性和功能。效标关联效度分为两种：效标与本测验分数同时获得的，称为同时效度或并存效度(concurrentvalidity)；效标在本测验之后相当时间获得的，称为预测效度(predictivevalidity)。预测效度和同时效度有两点区别：(1)从进行本测验到获得效标的间隔时间不同。同时效度的效标测验几乎与本测验同时举行；预测效度的效标则在本测验之后相当长的时间(几个月，到几年）才获得。(2)目的和作用不同。同时效度主要用来查明自编测验的效度，以便有效地研制和使用新测验；预测效度主要用来评价本测验的预测能力。估计效标关联效度的主要方法有：（1）相关法它是以相关系数作为效度系数（validitycoefficient）的估计值。（2）命中率法当测验是用作决定取舍标准的根据时,其有效性的指标可以看作正确决定的比例，该比例越高，说明测验越有效。①取舍的正确性一般各级学校的招生考试或各企事业单位选聘人员的录取聘用，都可以采用这种方法。为了得到取舍正确性指标，必须将原测验分数与效标资料都采用二值划分，这是最简单的一种划分方法。例如，原测验分数可以分成录取和不录取两类，效标资料可分为成功与失败两类，这样全部被试可分为四个组，如下表所示：效标成绩失败成功测验成绩录取失误(A)命中(B)不录取命中(C)失误(D)上表中，在测验分数中录取的正确决定为命中，不正确决定为失误，取舍正确性的指标，可用以下公式求得：式中：PCT为取舍正确性比率，也称总命中率。DCBACBPCT失误命中命中例如：效标成绩失败成功测验成绩录取75(A)15(B)60不录取175(C)152(D)23将表中各数据代入公式：取舍正确性比率为0.85，说明测验有比较高的预测效度。85.023152601515260CTP②正命中率(录取正确率)一般情况，录取单位所关心的是已被录取的学生或工作人员，希望他们录取后努力学习或工作，而对那些未录取者并不关心，因而需要用正命中率指标来表示其有效性。其公式为：式中Ppc为正命中率。BABPPC录取人数成功人数例如：将上表中各数据代入公式：录取学生的正命中率为0.8，说明入学测验的预测度性较高。80.0601560PCP3．结构效度结构效度指的是测验分数能够说明心理的某种结构或特征的程度。（1）逻辑推理法它是通过对心理某种结构或特性与测验的吻合性进行逻辑分析的方法。例如比奈(A．Binet)首先应用逻辑分析方法研究智力行为的心理结构，认为智力不单纯是智力行为的