测验的项目分析

测验的项目分析项目的难度项目的鉴别力（区分度）项目难度和区分度的关系项目分析的特殊问题项目分析的定义：指根据被试的反应，对组成测验的各个题目（项目）进行分析，包括定性分析和定量分析，帮助筛选和修订项目。定性分析：涉及项目编写的恰当性、有效性以及表达是否清楚。定量分析：主要指对项目的难度和区分度的分析。研究生入学考试一、项目的难度（一）定义（二）估计难度的方法1、以答对百分比（或比率）来估计难度2、多项选择项目的校正计算法3、使用项目难度等距量表一、项目的难度（一）定义难度是表示题目难易程度的指标。这一概念在能力测验里称为项目的难度水平，而在非能力测验里，称为“通俗性”或“流行性”水平(指一总体中被试在答案范围里回答项目的程度)难度的计算以答对百分比（或比率）来估计难度–二分法计分的测题P＝R/N（P:试题的难度R：答对该题的人数；N：参加测验者的总数）–非二分法计分项目的难度计算：X：全体考生在该试题上所得的平均分数；Xmax：该题的满分分数。难度的计算以答对百分比（或比率）来估计难度–分组法P=(PH+PL)/2PH：高分组答对该题目的百分比；PL：低分组答对该题目的百分比例如：设有370名被试，取其中成绩最高的27％（100人）人定高分组，成绩最低的27％（100人）定为低分组，对于某一道试题，若高分组有60人答对，低分组有30人答对。多项选择项目的校正计算法矫正公式为：CP=(KP－1)/(K－1)CP：矫正后的难度；P：未矫正的难度；K：选项的数目举例：一个五择一的测题难度指数为0.50，一个四择一的测题难度指数为0.53，哪一题的难度大？使用项目难度等距量表使用项目难度等距量表的理由–第一：测题的难度一般用答对某题的人数比率或百分比表示。百分量表是等级量表，不是等距量表–第二，难度量表时反序而行的，P值越大，项目越容易例如：三个项目的难度指数分别为0.50，0.60，0.70转换难度等距量表的方法当样本容量很大时，测验分数接近正态分布，如果把测题的难度指数P作为正态曲线下的面积，查标准正态分布表，就可以将以等级量表表示的P值转换成具有相等单位的等距量表Z值。注意：P作为正态曲线下面积时，要从右向左而行例如：三个项目的难度指数分别为0.50，0.60，0.70P＝0.5，对应Z＝0；P＝0.6，对应Z＝－0.25；P＝0.7，对应Z＝－0.52。前面两者相差0.25，后两者相差0.27，显然差距不相等的难度与测验分数的分布一个测验的难度取决于组成这个测验的各个试题的难度，从测验总分的分布情形，可以大致知道整个测验的难度。注：a是正偏态分布；b是负偏态分布难度水平的确定根据测验的目的、项目的形式和测验的性质来确定1、学业考试：目的是教学内容掌握的情况，所以只要认为内容是重要的，就可以选择，而不论难度。2、人员选择：–采用难度值接近录取率的项目。录取率为40％，则理想的难度在0.40左右。–0.50左右难度的题目，可以对全体被试作最大程度的区分。3、对于选择题–难度值要大于概率。–如难度值等于或小于概率，如鉴别力好，通过者都是水平最高的，也可保留。4、对于人格测验人格测验的项目不存在难度问题，与此相应的指标叫通俗性，即同一类人在答案方向上回答的人数，计算方法同难度计算方法。项目的鉴别力（区分度）定义估计方法区分度的相对性难度与区分度的关系项目分析的特殊问题鉴别力定义：项目的鉴别力又称为区分度。它是指项目对不同水平的被试反应的区分程度和鉴别能力。确定区分度的方法包括鉴别指数法、方差法和相关法。（一）鉴别指数法当测量分数是一个连续变量时，可从分布的两端选出高分组（H）和低分组（L），然后将高分组和低分组通过每个项目的人数用百分比来表示，这两个百分数之间的差异就提供了题目区分度的指标。D=PH－PLD为鉴别指数PH为高分组某项目通过人数百分比PL低分组某项目通过人数百分比。D值越大，项目区分度越高，项目越有效。例：某高中物理测验，被试共18人，高分组和低分组若各取总人数的27％，则两组各为5人，第5题高分组5人全部答对，低分组5人中有1人答对。则该题的区分度是多少？鉴别指数标准（二）方差法方差表示一组数据离散程度。方差大，数据分散。被试在某一试题上的得分越分散，则该试题鉴别力越大。当n30时，属统计上的小样本，改用：项目与总分相关点二列相关rpbi系数二列相关系数对非二值记分的项目的估计项目的组间相关点二列相关rpbi系数（1）适用性：适用于一个变量是连续变量，另一个是二分变量的资料。例如，某项目答对记1分，答错记0分，则此项目为二分变量，而总分为连续变量。（2）计算公式：某学校的15名学生总分和某项目的解答情况二列相关系数适用于两个连续测量的变量，但其中有一个由于某种原因被分成两个类别。计算公式：Y：正态分布下答对百分比p所在位置的曲线高度。其余字母的意义与点二列相关公式相同对非二值记分的项目的估计项目与总分均为连续变量，采用积距相关公式例：设有A、B、C、D、E5个被试，在测验的某个题目上的得分X和Y总分如下表：项目的组间相关(1)定义项目的组间相关又称为项目间的相互相关，它是指整个测验中各个测题之间的相互关系。(2)估计方法：–四项相关和ф相关–积距相关四项相关和ф相关使用条件：二值记分的项目的组间相关举例：某测验中的4道题的回答情况如下表＝非二值记分项目组间相关的估计法区分度的相对性第一，采用不同的计算方法，区分度的值不同第二，用相关法计算的区分度值受样本大小影响。第三，用两个极端组通过率的差异作为区分度的指标，其值受分组标准的影响。第四，区分度值的大小与样本的同质性有关。难度与区分度的关系区分度与难度密切相关。难度越接近0.5，项目的潜在区分度越大，难度越接近1.00或0，项目的潜在区分度越小。项目的组间相关与难度的关系–若所有的项目都完全相关(r＝1)，并且都是0.50的难度水平，则测验结果呈U型分别–难度的分布广一些、梯度多一些，才能取得良好的区分度并非要全部项目难度都是.50，实际需要测验的平均难度在.50就最好。项目分析的特殊问题（一）备选答案的反应模式多重选择题依然需要分析被试对各个备选答案的反应模式。1、正确的备选答案被所有受试选择，说明题目太容易或题目可能提供了某种暗示。2、错误答案没有一个被试选择，说明该选项不具迷惑性，错得过于明显。最少要有2％以上的人选择，否则这个备选答案要去掉。3、如果被试都选择了同一错误答案，可能是编著测验时把正确答案定错了4、高分组被试的选择集中在两个答案上，二者选择率相近，说明该题可能有两个正确答案或在某种意义上另一个选择也有一定的意义。5、高分组对正确答案的选择与低分组相等或低于后者，说明该题所考察的东西与被试水平无关，即不具有辨别力。6、一个题目被试未作答的人数多（速度测验除外）或选择各个备选答案的人数几乎相等，说明该题可能过难或题意不清。(二)标准参照测验的项目分析以上介绍的是常模参照测验的项目分析方法，不完全适用标准参照测验，需要注意以下方面。1、难度分析标准参照测验可以采用常模参照测验的方法计算难度，但对难度水平的要求不同，只要认为项目重要，就可包括在测验中，而不管其通过率和鉴别力如何。2、区分度分析标准参照测验不适合用相关法计算区分度，但可以采用类似鉴别指数的方法计算，即比较两组通过率。(三)速度测验的项目分析1、项目特点：项目容易，多数人都可以通过。项目多，有时限，很少有人做完全部项。2、通过率和区分度的特征测验前部项目通过率高，后部低。前部区分度低，后部区分度被高估。从速度测验得到的项目分析的指标，主要反映了项目的位置，而不反映项目的难度和区分度。3、前面介绍的分析方法不适用速度测验。小结经典项目分析方法主要包括难度和区分度难度就是指项目的难易程度，通常以通过率表示。确定区分度的方法包括鉴别指数法和相关法。鉴别指数法是将高分组和低分组通过每个项目的人数用百分比来表示，这两个百分数之间的差异就提供了题目区分度的指标。相关法是对项目评分与效标或总分进行相关分析，通常应用积差相关、二列相关和点二列相关方法。