第十二章--信度和效度

第十二章测量指标•第一节测量的质量指标•第二节教育、心理测量主要内容•信度•效度§3.1信度•信度的概念•信度的理论公式•提高信度的方法3.11信度的概念•信度指的是测量结果的稳定性或可靠的程度,亦即测量的结果是否真实、客观地反映了考生的实际水平。•信度指实测值和真值相差的程度x=T+Ex表示实测什值，T表示误差，E表示误差。•信度指统计量与参数之间的接近程度•信度指两次重复测量或等值测量之间的关联程度重复测量的相关系数要高，但重复测量会受被试的经验、知识的增长等因素的影响。•信度是任何一个测量的必要条件，它有重要的意义。只有信度高，才能正确地判断测量结果的价值。3.12信度的理论公式22221xExTxxr222ETx表示随机误差表示翰真分数的方差其中22Ex，。，测量的信度就越高小随机误差分数的方差越信度的类型•稳定性系数稳定性系数又称重测信度。它是指用同一测验试卷，在先后两个一不时间内对同一组被试进行测验，两次测验实得的相关系数。这是估量信度最简单的方法，只需要同一份试卷对同一被试测验两次即可。•基本程序是：测验A1—→测验A2•注意几点：（1）只适用速度不适用于难度。（2）受两次测验时间间隔长短影响。（3）二次测没有吸引力。（4）费时费力。信度的类型•等值性系数。用该测验的另一个平行型测验或者复份进行第二次测验。复份在测验的内容、题数、格式、难度、平均数、标准差等方面应与原测验一致。•基本程序是：测验A1—→测验B1•注意几点：（1）等值。（2）尽可能在短时间内进行。（3）考察两次测验结果的平均数与标准差。•要编制两份的测验是非常困难的。信度的类型•内部一致性系数把一次测验人为地分成两个部分，，比较两部分的一致程度，从而估计信度系数。•分半信度：将一次测验分成两个假定相等而独立的两部分来记分，通常是以题目的奇数为一组，偶数为一组，计算计算两组的相关系数。最后用斯皮尔曼—布朗公式校正，求得整个测验的信度系数。斯皮尔曼—布朗公式为：xyxyttrrr12。r，rxytt相关系数表示为两组测验分数的数表示整个测验的信度系信度的类型•库德尔—理查森公式法用这种方法只需要测验一次，然后以各个问题的正确反应数为基础，，或根据各人总分的平均数和标准差，计算信度系数。。s，，q，p，KrsKKrKRKR和的方差为各应试者各题得分之总人数的百分为各题错误反应人数占应占总人数的百分数为各题正确反为测验题目系数为整个测验结果的信度2),2pq1(12020信度的类型•计算内部一致性系数，需注意下列问题：1.若用分半法，以按奇数和偶数分为两半为宜。2.若速率是测验的重要因素，则不宜用分半法。3.如果答案多种多样，得分也多种多样时，则不能用上列公式计算一致性系数。3.13提高信度的方法•信度系数以多大为宜。•测量误差的来源。测验本身所引起的误差、测验的实施所引起的误差、被试所引起的误差。•提高测验信度的方法：适当增加测验题目的数量，测验的难度要适中，测验的内容应尽量同质，测验的程序应统一，测验的时间要充分，评分要尽量做到客观化、减少评分误差，要提高被试的积极性。§3.2效度•效度的概念•效度的理论公式•提高效度的方法3.21效度的概念•效度的定义：指测量结果的准确性和有效性的程度，亦即测量是否达到了预期的目的。一个测验或量表实际能测出其所要测量的特性的程度•可以从以下几方面理解：1.测量的效度是对一定的测量目的而言的。2.测量的效度是对测量的结果而言的。3.一种测量的效度只是高或低的问题。3.22效度的理论公式–记为：–效度的统计定义X=T+E，T＝V＋I，即：X＝V＋I＋E–有–则：xyr222Xvxyr。，，，EIVXEIVX随机误差方差为系统误差方差为潜在真分数方差表示实测分数方差222222223.22效度的理论公式•根据统计定义，可知道效度与信度的哪些关系？3.22效度的理论公式•效度的类别–内容效度：侧重于测验题目取样的代表性，考查这些题目对所欲测量的内容和行为反应测量的有效程度–结构效度：侧重于一个测验的能够测量到心理学和教学理论上的抽象概念和特质的程度–效标效度：侧重于测验分数预测我们所关心的外在行为的准确程度结构效度•中学生数学能力的研究•数学能力由分析能力、综合能力、归纳和演绎能力、运算能力、空间想象能力构成；数学能力与早期教育有关；数学能力与智力正相关。3.23提高效度的方法•影响效度的因素：测验组成方面；测验实施方面；被试主观状态方面；估计效度所依循的效标，样本方面。•提高效度的方法：控制系统误差；精心编制量表；妥善组织测验；扩充样本的容量和代表性；合理处理效度和信度的关系；适当增加测验的长度。教育测量与评价中题目（项目）的难度•一、难度的含义–难度是指测验项目的难易程度，记为P–在教育测量中•P＝正确回答试题的人数/参加测验的总人数•二、难度的计算–客观试题（二分法记分）：•P＝R/NR：答对该题的人数；N：参加测验的总人数•对选择题的解答，因被试可猜测，故需对难度系数加以校正–CP=(KP-1)/(K-1)–CP：校正后的难度值；P：实际得到的通过率；K：选项数目–例：一个题目的难度值为0.75，分别计算此题有四个选项、三个选项、两个选项时大的难度值教育测量与评价中题目（项目）的难度•二、难度的计算–客观题的极端分组法•根据测验分数按高低排序，用两个极端组在某项目上的平均通过率表示项目的难度•P＝（PH＋PL）/2•步骤：–按测验总分由高到低排序–从高分段向下选出全部试卷的27％作为高分组–从低分段向上选出全部试卷的27％作为低分组–按照上述公式计算项目难度值•例：100人参加某测验，高分组与低分组各取27人，其中第一题高分组20人答对，低分组10人答对。这道题的难度系数是多少？教育测量与评价中题目（项目）的难度•二、难度的计算–主观题的平均数法:–主观题的极端分组法:•XH：高分组所得总分；•XL：低分组所得总分；H：该题最高分；L：该题最低分；N：考生总人数的25％WXP)(2)2(LHNNLXXPLHXffxXffx高分组1010100低分组10008864854076427856515521040041040试题分析表教育测量与评价中题目（项目）的难度•三、难度的转换–难度指出的仅仅是题目的相对难度，不能客观地指出题目难度之间差异大小–P向Z的转换•假定每个试题所要测量地潜在特质或能力是呈正态分布的，可将P值作为正态曲线下的概率面积，以此转换成Z分数–例：–Z向的转换：z413教育测量与评价中题目（项目）的区分度•一、区分度的概念–区分度是测验对被试实际水平的区分程度–是测验项目分析的重要内容–是作为评价项目质量、筛选项目的主要指标与依据–通常用D表示，取值范围为＋1.00至－1.00–D越高时，试题的质量越好教育测量与评价中题目（项目）的区分度•二、区分度对测验的影响–1.区分度与难度的关系难度（P）区分度（D的最大值）1.000.000.900.200.700.600.501.000.300.600.100.200.000.00教育测量与评价中题目（项目）的区分度•二、区分度对测验的影响–2.区分度与信度的关系D的平均值信度0.12250.000.160.420.200.630.300.840.400.9150.500.949教育测量与评价中题目（项目）的区分度•三、区分度计算方法–极端分组法•客观性试题区分度的计算公式：D＝PH－PL–按测验总分从高到低排序–确定测验总分最高的27％的被试作为高分组，最低的27％的被试为低分组–分别求出这两组被试通过试题的百分比–将算得的有关数据带入上公式•主观性试题区分度的计算公式：–说明：»XH：高分组所得总分；XL：低分组所得总分；H：该题最高分；L：该题最低分；N：考生总人数的25％–步骤：»按测验总分由高到低排序；分别确定测验总分的25％、25％作为高低分组；列出试题分析表；将数据带入以上公式加以计算)(LHNXXDLH教育测量与评价中题目（项目）的区分度•三、区分度计算方法–相关法•考虑中间数据•以项目分数与效标分数（效标分数不易得到时，以测验总分代替）的相关作为项目区分度的指标•相关越高，区分能力越好•具体方法：–积差相关法–点二列相关–二列相关–Φ相关