心理测验的难度与区分度.ppt

第四章项目分析心理测量学第四章项目分析第一节项目的难度1第二节项目的区分度2第三节题目的猜测度与控制3第四节选择题选项分析与修改4心理测量学第四章项目第一节项目的难度1一、难度的定义难度定义难度difficulty：指项目的难易程度，即就是被试完成题目或项目任务时所遇到的困难程度难度系数：p定量刻画被试作答一个题目所遇到的困难程度的量数，就叫题目的难度系数，也常称为难度值,用符号P表示。max/XXP二、难度系数计算方法以全体被试得分率为难度系数以全体被试通过率为难度系数P=K/N以两端组被试得分率的均值为难度系数P=(PH+PL)/2P：题目难度X拔：被试在某题目上的平均得分Xmax：该题目的满分P：题目难度K：答对人数N：全体被试人数P：题目难度PH：高分组被试的得分率PL：低分组被试的得分率（1）按被试的总分，将全体被试者从高到低进行排序。（2）从高分往下找，找出高分组；由低分往高找，找出低分组两组人数分别占总人数的27%。（3）分别计算高分组、低分组的被试在该题目上的平均得分。（4）代入公式分别计算高分组和低分组被试在同一个题目上的难度系数。（5）把和代入P=(PH+PL)/2，计算这个题目的难度系数。难度计算实例例4-1下表是随机抽取22名被试在某数学测验中四道题目的得分情况，每题的满分分别为1分、2分、3分和4分，请分析其难度。哪道题最难？三、难度系数变换上述所得难度系数，不论是得分率还是失分率，都属于顺序变量，不具有相等的单位，因此，通过p值比较并不能客观指出题目难度之间的差异大小。Eg：三个题目难度系数分别为0.5、0.6、0.7，三个题目之间难度差是否相等？•可知第一题最难，第二题次之，第三题最容易•难度系数相差都是10%，但并不代表第一题与第二题难度只差等于第二题与第三题难度之差难度系数变换办法假设每个试题所要测量的潜在特质或能力是呈正态分布的，然后就可以根据正态分布曲线,将试题的难度系数P作为正态曲线下的概率面积，转换成具有相等单位的等距量表,即Z分数（标准分数）量表。难度等距转换实例题号答对率难度Z值难度差异10.151.04--20.250.670.3730.350.390.2840.400.250.1450.60-0.250.5060.70-0.840.59思考：Z分数为负值时，说明试题难还是容易？Z值存在负值不易理解，因此做如下转换难度Z值转换公式:Δ=13+4ZΔ：题目难度；Z：由p转换来的标准分数思考：Δ的取值范围？1----25第1题：Δ=13+4*1.04=17.16第2题：Δ=13+4*0.67=15.68第3题：Δ=13+4*0.39=14.56第4题：Δ=13+4*0.25=14第5题：Δ=13+4*（-0.25）=12第6题：Δ=13+4*（-0.59）=9.64难度等距转换公式四、题目的难度分布P的取值范围为：0≤P≤1当P=0时，试题的实际困难程度最大(所有的考生都得0分)当P=l时，试题的实际难度最小(所有的考生都全对)。常模参照测验难度分布要尽可能地区分被试的个别差异，测验结果就尽可能拉开距离。P值尽量接近0.50为宜思考：P等于1或0时，以为着什么，是否还可以区分被试？实验表明：所有题目的难度系数分布在0.30至0.70之间，并且整个测验的平均难度系数在0.50左右时，测验对被试有较大的鉴别力，测验分数也接近正态分布标准参照测验难度分布目的是检验被试是否已达到教学目标规定的掌握程度教师期望学生都能够在教学之后掌握所有的教学内容通过率达到1.00时，所有学生都掌握了教学内容。如果教学是有效的，多数试题的难度系数P值都会很大，难度系数反映的是教学质量的好坏的成分多于试题质量的好坏的成分不同测验，目的不同，难度值不同。奥林匹克测验？选择补习功课的学生？心理测量学第四章心理测量的难度与区分度第二节项目的区分度2一、区分度的定义定义：指测验对考生实际水平的区分程度或测验对被试特质差异的区分能力，用符号D表示。具有良好区分度的测验，实际水平高的应该得高分，实际水平低的应该得低分。所以，区分度又叫鉴别力。是评价试题质量，筛选试题的主要指标与依据区分度的分类正区分(D0)称积极区分，指实际水平高的考生得了高分，实际水平低的考生得了低分负区分(D0)，称消极区分，实际水平高的考生得了低分，实际水平低的学生得了高分零区分(D=0)指实际水平高低与得分之间没有太大的关系，呈现出零相关二、区分度的计算1、相关系数法点二列相关积差相关2、用极端分组法计算区分度：D=PH—PLD表示区分度PH表示高分组的难度PL表示低分组的难度心理测量学江西师大心理与教育统计测量中心该方法的基本思想是，若题目有好的区分度，则高能力的被试在该题上应得高分，低能力被试应得低分，即被试在题目上的得分应与测验总分相一致。其基本假设是测验得高分的被试即为高能力被试，测验得低分的被试即为低能力被试。1、相关系数法心理测量学江西师大心理与教育统计测量中心（1）点二列相关法1、相关系数法心理测量学江西师大心理与教育统计测量中心（2）积差相关法1、相关系数法心理测量学江西师大心理与教育统计测量中心基本思想：2、极端分组法（鉴别指数法）心理测量学江西师大心理与教育统计测量中心例4-2下表是随机抽取22名被试在某语文测验中四道题目的得分情况，四题满分分别为1分、3分、5分和60分，其中第4题为作文题，请计算四题的区分度。3、题目区分度计算实例心理测量学江西师大心理与教育统计测量中心3、题目区分度计算实例心理测量学江西师大心理与教育统计测量中心三、区分度的评价标准1965年美国测量学家伊贝尔根据长期经验提出如下标准：四、区分度与测验信度、难度的关系区分度与信度关系此表是1962年R．L．艾伯发表的，这里是假定全部试题的难度均为0．50时所预测的信度系数。里面的区分度指的是平均值。可见，要想达到理想的测验信度，提高区分度是一个好方法。信度0.9490.9150.840.630.420.00区分度0.500.400.300.200.160.1225四、区分度与测验信度、难度的关系区分度与难度关系由上表可知，难度适中，可使区分度达到最大值。难度（P）1.000.900.700.500.300.100.00区分度的最大值0.000.200.601.000.600.200.00心理测量学江西师大心理与教育统计测量中心(1)题目难度(2)被试群体的同质性(3)全卷各题所测心理品质的一致性。(4)题目本身的文字与内容的质量也会影响题目的区分度五、影响题目区分度的因素心理测量学江西师大心理与教育统计测量中心(1)控制好题目难度。将题目难度在0.5左右时，区分能力理论上会比较高。(2)保证题目所测心理品质与全卷所测心理品质的一致性。(3)题干及答案无歧义。(4)语言准确规范。(5)借助选项分析提供的信息对不良选项进行修改，以提高题目区分能力。六、提高题目区分度方法心理测量学第四章心理测量的难度与区分度第三节题目的猜测度与控制3一、猜测度的定义猜测度是指被试全凭随机猜测而答对题目的概率。猜测行为主要出现在客观题（如选择题、是非判断题、配对题等）心理测量学江西师大心理与教育统计测量中心心理测量学江西师大心理与教育统计测量中心①增加选择题选择项的个数(一般不少于四个)。②增加干扰项的迷惑性。③控制存在猜测行为的总题量，以保证猜测误差控制在较小范围。④如有特殊需要，还可采用警告、扣分等方式控制被试的猜测行为。二、猜测度的控制心理测量学第四章心理测量的难度与区分度第四节选择题选项分析与修改4心理测量学江西师大心理与教育统计测量中心一、选项分析基本过程1、根据被试的测验总分，对被试进行排序2、确定高分组和低分组被试3、分别登记高分组被试和低分组被试在每个备选项的人数及未作答人数（也可以是人数百分比），最终整理成类似表中的数据资料4、根据第3步整理好的数据资料，进行具体分析。心理测量学江西师大心理与教育统计测量中心1、首先分析两组平均选答率一般正确答案的选答率应该在0.4到0.6之间，每个干扰项应该平均分剩余的选答率。如果正确答案的选答率过高或过低，这都不利于区分高分组和低分组被试。如果某干扰项选答率特低，则说明该干扰项错的过于明显应加以淘汰；若某干扰项选答率特高，则要考虑该题正确答案是否错误或有两个正确答案。二、选项分析的方法及选项修改原则心理测量学江西师大心理与教育统计测量中心2、对于正确答案主要考察高分组和低分组被试在正确答案上的选答率是否是正差，及这一差距是否足够大。只有当高分组和低分组被试在正确答案上的选答率是正差，且这一差距足够大时，这时题目质量较佳。二、选项分析的方法及选项修改原则心理测量学江西师大心理与教育统计测量中心3、对于干扰项考察高分组和低分组被试在干扰项上的选答率是否是负差，及这一差距是否足够大。只有当高分组和低分组被试在正确答案上的选答率是负差，且这一距差足够大时，这时干扰项的设置比较合理，否则干扰项设置不合理，应对干扰项进行删除或修改。二、选项分析的方法及选项修改原则心理测量学江西师大心理与教育统计测量中心4、其它①如果高分组被试的选答集中在两个答案上，且人数又相近，说明此题可能有两个正确答案，或者在某种意义上另一个选择项也有一定道理。应考虑题目本身是否存有歧义或有两个正确答案。②如果高分组对正确答案的选答率与低分组相等或低于后者，说明该题所考察东西与被试水平无关，即不具有鉴别力，此题应作大修改或删除。③如果一个题目被试未作答的人数较多（速度测验除外），或选择各个备选项答案的人数相等，说明该题目过难或题意不清，被试无法作答或全凭猜测。应修改或删除本题。二、选项分析的方法及选项修改原则心理测量学江西师大心理与教育统计测量中心例4-3下表为一个由370人参加的英语测验中四道选择题的统计结果，试分析每题难度、区分度是如何计算出来的？并对这四题的选项质量进行评价。三、项目分析实例心理测量学江西师大心理与教育统计测量中心三、项目分析实例心理测量学江西师大心理与教育统计测量中心③选项分析：第1题，正确答案和干扰项的两组平均选答率都基本正常，在正确答案上高分组的被试选择人数要多于低分组被试，且在非正确选项上，高分组的被试选择人数要少于低分组被试，这符合实际情况，四个选项的设置均较合理；三、项目分析实例心理测量学江西师大心理与教育统计测量中心三、项目分析实例③选项分析：第2题，正确答案和干扰项B的两两组平均选答率基本一致，且正确答案上高分组的被试选择人数要少于低分组被试，而在非正确选项B、D上，高分组的被试选择人数要多于低分组被试，这均不符合实际情况，且高分组被试中选择人数最多的为选项B，则要考虑该是否有2个正确选项，因此该题选项设置较差，因此整题质量较差。心理测量学江西师大心理与教育统计测量中心③选项分析：第3题，选项A、B、D两组平均选答率都基本正常、设置均较合理，但选项C需修改；第4题，选项A、D设置合理，选项C设置不合理需修改，不论高分还是低分组被试均无人选择B，该选项无任何迷惑作用，可删除该选项，并换其它具有迷惑性的选项。