16 项目分析-难度

项目分析•项目分析就是根据试测结果对组成测验的各个题目(项目)进行分析，从而评价题目好坏、对题目进行筛选。•包括质的分析和量的分析。•如有关项目的内容效度的分析就属于质的分析；•而有关难度和区分度的分析就属于量的分析；学习目标•掌握难度的估计方法•了解测验难度水平的确定依据•掌握项目区分度的求法及区分度对测验质量的影响•了解难度与区分度的关系一、项目难度1.定义2.估计难度的方法3.选择题的难度修正4.项目难度的等距量表5.测验难度的确定go1.定义•难度就是指测验项目的难易程度。能力测验：项目的难易水平非能力测验：“通俗性”或者“流行性”水平(popularitylevel)。•难度分析，是对项目的难度进行估计以确定适宜的难度。back2.估计项目难度的方法测验的计分方法不同，项目难度的计算方法也不同。1)二值记分项目的难度2)多值记分项目的难度1)二值计分项目的难度(1)通过率•二值计分：项目的计分只有答对和答错两种情况，计为1或0•通过率：以答对百分比(或比率)•当项目以1、0计分时，难度等于通过率•例如：在200个学生中，答对某题的人数为120人，则该项目的难度为%100NRP%%%60100200120100NRP(2)极端分组法当项目以1、0计分，而人数较多时，难度等于总分上高分组与低分组通过率的平均数•27%规则•一般情况下，取上下25%~33%均可。•样本少时，可以取50%2PPPlh例：•假设有370个被试，取其中成绩最高的27%（100）人定为高分组，成绩最低的27%（100）人定为低分组，对于某一道试题，若高分组有60人答对，低分组有30人答对，则：•Ph=60/100=0.60Pl=30/100=0.30•所以该题的难度为•P=(0.6+0.3)/2=0.45back2)多值计分项目的难度•当项目以多值计分时，难度等于平均分与满分之比。例如：设某一问答题满分是20分，全体考生在该题上所得的平均分为10分，则该题的难度为：—max100.5020XPX—maxXPX•当测验不是二值记分，且受测者人数很多时，难度等于总分上高分组与低分组平均分之和与2倍满分之比。P=maxlh２ＸX＋Xback3.选择题的难度修正•在选择题测验中，猜测的成功概率受项目备选答案数目(K，选项数目)的影响(P=1/K)，••为平衡机遇对难度的影响，采用下矫正公式：•如果要比较两个选项数目不同的测题难度，必须应用以上矫正公式分别将两个测题的难度进行矫正，然后才能进行比较分析。11KPCPK例如：一个五择一的测题难度指数为0.50，一个四择一的测题难度指数为0.53，哪一题的难度大？五择一的测题矫正后难度指数为CP=四择一的测题矫正后难度指数为CP=0.381510.5050.371410.534可以看到，和未矫正前相反，五择一的测题更难一些。back4.项目难度的等距量表通过率是以何种量表水平表示难度？a.使用项目难度等距量表的理由第一，测题的难度一般用答对某题的人数比率或百分比表示。百分量表是等级量表，不是等距量表。因此不能比较题目之间的具体差异。第二，难度量表是反序而行的，P值越大，项目越容易，转换成等距量表后更清晰明了。b.转换为等距量表的方法•查标准正态分布表，将以等级量表表示的P值转换成具有相等单位σ的等距量表Z值。•P值作为正态曲线下面积时，要从右向左而行。•转换好的Z值在平均数以下是负数。为了避免负号出现的情况，使用Δ。例•在正态分布中，平均数之上或之下一个标准差的距离约占全体人数的34%•如果在一个测验中某项目A通过率为84%（0.84），那么这项目的难度•-1σ•如果某项目B的通过率只有16%，则这个项目的难度为•+1σ•若某题C恰好有50%的人通过，则此题的难度为•0backΔ=13+4ZΔ：常态化等距难度指标，13为平均数，4为标准差，Z为以σ为单位的Z值。如，前面所举的例中，其Δ难度值为：题目A：通过率P=0.84Z=-1Δ=13+4×(-1)=9题目B：通过率P=0.16Z=1Δ=13+4×1=17题目C：通过率P=0.50Z=1Δ=13+4×0=13如果一个题目几乎所有被试都通过（99.8%）,则其Z=-3,Δ=13+4×(-3)=1如果一个题目答对的人很少（0.13%）,则其Z=3,Δ=13+4×3=25back5.测验难度水平的确定a.项目难度的确定b.测验难度的水平的确定a.项目难度的确定难度分析的主要目的是筛选项目，项目的难度水平取决于测验的目的。backb.测验难度水平的确定•中等难度是测验的最合适难度水平。•因此，选择题目时，最好使试题的平均难度接近0.50，而各题难度在0.50±0.20之间。•中等难度的测验可以使测验分数呈常态分布（正态分布）。•正偏态•负偏态•正态back表1四种测量水平和量表对应数据特征量表名称有无相等单位有无绝对参照点数的特性可进行的运算适用的统计方法实例类别量表无无同一性区分性不能加减乘除，不能排序计算次数、百分比、列联相关、χ2检验、比率差异检验。０（男）１（女）等级量表无无还有等级性可以排序，不能加减乘除还可求中位数、百分位数、斯皮尔曼相关系数、肯德尔和谐系数、符号检验、等级方差分析。第１名第２名等距量表有无还有等距性可以加减不可乘除还可求平均数、标准差、方差、积差相关、作Ｚ检验、Ｔ检验、方差分析。温度比率量表有有还有等比性可以加减乘除还可几何平均数、差异系数。长度GO测验目的•若测验的目的是为了了解被试在某方面知识技能掌握的情况，可以不必过多的考虑难度。•如果测验的目的是鉴别，则需要选择中等难度的项目。•如果目的是筛选，项目的理想难度应该接近录取率的项目。back