3-教育测量与评价的难度与区分度

教育测量与评价的难度与区分度刘俊英教育测量与评价中题目（项目）的难度一、难度的含义难度是指测验项目的难易程度刻画被试作答一个题目所遇到的困难程度的量数，叫做题目的难度系数，用符号P表示在教育测量中，P＝正确回答试题的人数/参加测验的总人数二、难度的计算客观试题（二分法记分）：P＝R/NR：答对该题的人数；N：参加测验的总人数对选择题的解答，因被试可猜测，故需对难度系数加以校正CP：校正后的难度值；P：实际得到的通过率；K：选项数目例：某次测验中，20个学生中有15人答对了某一选择题，分别计算此题有四个选项、三个选项、两个选项时的难度值11kkPCP教育测量与评价中题目（项目）的难度二、难度的计算客观题的极端分组法根据测验分数按高低排序，用两个极端组（高分、低分）在某项目上的平均通过率表示项目的难度步骤：按测验总分由高到低排序从高分段向下选出全部试卷的27％作为高分组从低分段向上选出全部试卷的27％作为低分组按照上述公式计算项目难度值例：100人参加某测验，高分组与低分组各取27人，其中第一题高分组20人答对，低分组10人答对。这道题的难度系数是多少？2LHPPP教育测量与评价中题目（项目）的难度二、难度的计算主观题的平均数法主观题的极端分组法公式：步骤按测验总分依次排序，确定比例各为25％的高分组和低分组为高分组、低分组分别编制每题得分的分析表（试题分析表）用上述难度公式计算难度值WXP)(2)2(LHNNLXXPLH教育测量与评价中题目（项目）的难度公式的含义：XH：高分组所得总分；XL：低分组所得总分；H：该题最高分；L：该题最低分；N：考生总人数的25％)(2)2(LHNNLXXPLH41040400521051578567642854088641000低分组1010100高分组XffxXffx试题分析表例：100名学生参加论文式测验，按高、低分各占总人数的25％分组，其中第6题的得分统计表如下所示。求该题目的难度。问题：有3道试题（A、B、C），它们的难度P值分别为0.85、0.75、0.65，试比较这三道题目的难度差异情况。我们能说：我们不能说：如何进行差异比较？教育测量与评价中题目（项目）的难度三、难度的转换难度指出的仅仅是题目的相对难度，不能客观地指出题目难度之间差异大小一般情况下，测验分数呈正态分布利用正态分布表，可将P转换成具有相等单位的等距变量补充：量表的类型测量：按照一定规则对事物的属性进行量的规定，即：按照法则给事物指派数字1.名称量表类别量表，最低层次的量表，用于分类，表示事物的不同类别和性质用数字表示每一个研究个体：学号、准考证号用数字代表事物的类别：“1”、“0”表示“好”、“坏”2.顺序量表（等级量表）也称位次量表，根据事物的特性和设定的法则在分类的基础上确定同类客体中各元素之间的相对顺序只关心研究对象的顺序，不问津间距是否一致如：合格与否、优良中差等3.等距量表间距量表，在赋值时有相等的度量单位，采用相对零点，被测所对应的测量值由明确的距离关系原始测验分数经过统计处理后推导出一种新的量表分数，此分数的“零点”是一个相对零点4.比率量表具有等距量表的一切性质，采用绝对零点。针对总体而不是样本不但能确定一个被测比另一个被测大（小）多少，而且还能得出其间的倍数关系四种量表的比较量表水平特性图示功能例文字表达符号表达名称量表同一性区分性断定：A＝B或A≠B分类、命名、符号化准考证号码；男1女2；男生喜欢11、男生不喜欢10……等级量表等级性、位次性、大于或小于断定：A＞BA＝BA＜B分等级、位次、排列顺序学习成绩：好＝3中＝2差＝1等距量表单位相等有人定参照点，无绝对零点确定（A－B）＋（B－C）＝A－C求等距的度数，决定差异温度比率量表有绝对零点设A＝KB，B＝lC，则A＝KlC成立从绝对零点开始求等距的度数、决定比率体重身高1231234123412340正态分布的特征平均数上下各一个标准差的范围分别包含了全部人数的34％若某项目有84％的学生通过，这道题的难度在平均数以下一个标准差的位置，由0.84－0.50＝0.34去查Z值，Z＝－1σ若一个项目的难度位0.16，则这个项目的难度在平均数以上一个标准差的位置，由0.50－0.16＝0.34去查Z值，Z＝σ若某个项目有50％的学生通过，这个项目的难度落在下图0的位置上34.13%34.13%13.59%2.14%10.13%13.59%2.14%0.13%-1032-3-2教育测量与评价中题目（项目）的难度三、难度的转换P向Z的转换假定每个试题所要测量地潜在特质或能力是呈正态分布的，可将P值作为正态曲线下的概率面积，以此转换成Z分数问题：三道题目的难度系数为0.65、0.55、0.45，比较其差异。题号P难度Z值难度差异10.65－0.385－20.55－0.1250.2630.450.1250.25两个项目之间的P值之差相等，但Z值之差不等将P值转换为Z值之后，它们之间的单位相等，可以比较差异教育测量与评价中题目（项目）的难度三、难度的转换Z分数向Δ分数的转换：z413转换为：平均数为13，标准差为4的标准分数目的：消除负数，便于计算转换之后可用所得的Δ值计算整个测验中所有项目的平均难度教育测量与评价中题目（项目）的难度四、难度对测验的影响难度对测验分数分布的影响过易、过难会造成测验分数偏离正态分布，使测验分数离散程度变小难度对测验鉴别力的影响测验的主要功效是鉴别考生实际水平的高低适宜难度可以加大考生得分的差异，从而提高测验的鉴别力项目难度的适宜值为0.5左右时，测验得分的方差才可达最大值难度与测验目的的关系项目难度应根据测验目的来确定常模参照评价：区分学生能力或成就的高低标准参照评价：了解学生达到教学目标规定的掌握程度教育测量与评价中题目（项目）的区分度一、区分度的概念区分度是测验对被试实际水平的区分程度是测验项目分析的重要内容是作为评价项目质量、筛选项目的主要指标与依据通常用D表示，取值范围为＋1.00至－1.00D越高时，试题的质量越好D为正时，试题积极区分高分组通过率高，低分组通过率低D为负时，试题消极区分高分组通过率低，低分组通过率高教育测量与评价中题目（项目）的区分度二、区分度计算方法极端分组法客观性试题区分度的计算公式：D＝PH－PL按测验总分从高到低排序确定测验总分最高的27％的被试作为高分组，最低的27％的被试为低分组分别求出这两组被试通过试题的百分比将算得的有关数据带入上公式主观性试题区分度的计算公式：说明：XH：高分组所得总分；XL：低分组所得总分；H：该题最高分；L：该题最低分；N：考生人数（总人数的25％）步骤：按测验总分由高到低排序；分别确定测验总分的25％、25％作为高低分组；列出试题分析表；将数据带入以上公式加以计算)(LHNXXDLH教育测量与评价中题目（项目）的区分度例：100名考生参加主观性试题测验，按高、低分各占人数的25％分组，其中第四题试题分析表如下所示，求该题目的区分度。)(LHNXXDLH41040428653063188648843210440106601200低分组1210120高分组XffxXffx试题分析表教育测量与评价中题目（项目）的区分度三、区分度计算方法相关法考虑中间数据以项目分数与效标分数的相关作为项目区分度的指标（效标分数不易得到时，以测验总分代替）相关越高，区分能力越好具体方法：积差相关法点二列相关二列相关Φ相关积差相关法计算区分度非二分法记分的项目，可将题目得分与测验总分求积差相关系数以得到题目的区分度22YYXXYYXXriiiixy积差相关的另一计算公式：YXDYXxySSSSSr2222Sx为全体被试在某道题目上得分的标准差；Sy为全体被试总分的标准差；SD是由被试总分减去某题目得分而得到的新变量的方差点二列相关计算区分度测验的一个变量是连续变量，另一个变量是二分变量时，要用点二列相关系数表示某项目的区分度pqSXXrtqppb公式的说明：p为答对某题人数占全体人数的比例q为答错此题人数所占全体人数的比例（q＝1-p）St为全体考生的标准差生1234567891011121314151617181920总8652947265227683807576736291477481886258题1001100111101101100020个学生参加语文测验，总分与某一个选择题的得分情况如下表。计算该选择题的区分度。二列相关计算区分度测验总分与项目分数均为连续变量，其中一个被人为地分成两个类别，YpqSXXrtqpb公式的说明：p为二分变量中某一类别在全部变量中所占的比例，q为另一类别所占的比例（q＝1-p）St为全部连续变量的标准差Y表示正态曲线下与P相对应的纵线高度。生1234567891011121314151617181920总8652947265227683807576736291477481886258作4737552722103542463940413852213942482927类合合合不不不不合合合合合合合不不合合不不Ф相关法计算区分度测验的两个变量都是二分变量，可用计算Φ相关系数来表示某项目的区分度以测验总分划分为合格、不合格两类的被试在某一题目上通过、未通过的人数列成四格表来计算另一类数据合计ⅠⅡ一类数据ⅠABA+BⅡCDC+D合计A+CB+DNDBCADCBABCADrФ相关法计算区分度例：45名学生考取大学的人数和在某题上通过的人数由下表所示。若以升学为效标，此题对学生是否有区分能力？205713通过考取未考取未通过检验计算出的rФ值是否达到显著性水平，还需将rФ值转换成χ2值，再进行χ2检验。22Nr练习：生1234567891011121314151617181920总8690548950444328758260707581708076777950一1101000011011101111020名学生的期末成绩如下表，为考查第一题是否有区分能力，将该题用二分法记分，答对记1分，答错记0分。试计算该题的区分度。若60分以上（含60分）为升级，60分以下为留级。试用Φ相关法分析该题的区分度。教育测量与评价中题目（项目）的区分度三、区分度对测验的影响1.区分度与难度的关系难度（P）区分度（D的最大值）1.000.000.900.200.700.600.501.000.300.600.100.200.000.00教育测量与评价中题目（项目）的区分度三、区分度对测验的影响2.区分度与信度的关系区分度评价0.40以上非常好0.30～0.39良好，如能改进则更佳0.20～0.29尚可，仍需再改进0.19以下劣，必须淘汰或加以修改D的平均值信度0.12250.000.160.420.200.630.300.840.400.9150.500.949