05项目分析

第五章项目分析定性分析主要由专家对项目的内容和形式进行分析，包括考察内容效度、题目编写的恰当性和有效性等。定量分析主要计算项目的难度、区分度等。目的对项目进行筛选和修订，提高测验的信度和效度。第一节项目的难度项目的难度（difficulty）是指测验项目（或试题）的难易程度。在能力测验中就是指试题的难度水平。人格测验不存在难度问题，与此相应的指标称为通俗性或流行性（popularitylevel），即总体中在答案方向上回答的人数比率。一、难度的计算二级评分法项目的难度计算多级评分法项目的难度计算1、二级评分法项目的难度计算RPN通过率P=试题的难度R=答对该题的人数N=参加测验的总人数例题10名被试在某选择题上的得分如下，试计算该题的难度。被试12345678910得分1100110110极端分组法将被试按总分高低依次排序；划出人数相等的高分组和低分组（例如比例为27%）；计算高分组和低分组在该题上的通过率PH和PL；该题的难度计算公式为：2HLPPP例题选取有代表性的试卷370份，按照总分高低排序，将从最高分向下的27%（100人）作为高分组，将从最低分向上的27%（100人）作为低分组。某题的答题情况如下表。试计算该题的难度。组别选择各项答案的人数ABCD未答正确答案高分组低分组8363421143046200B2、多级评分法项目的难度计算maxXPXP=试题的难度=全体被试在该题上的平均分数=该题的满分分数XmaxX例题问答题满分为15分，10名被试在该题的得分如下。试计算该题的难度。被试12345678910得分131510109111091110二、二级评分法项目难度的矫正排除由于被试猜测而答对某些题目致使P值增大的可能性。比较答案选项数不同的题目的难度。矫正公式为：CP=矫正后的难度P=未矫正的难度K=测题的选项数目11KPCPK难度矫正公式的推导10----11-1-111NKRWXNXNXRXKKRNXKRKXKRNKPNCPNNKKK总人数，选项数得分为的人数，得分为的人数真正会做的人，真正不会做的人（）例题一个五择一的项目，其通过率为0.50，则排除猜测的影响，矫正后的难度为多少？三、难度的等距量表用百分比表示的难度值是等级数据。P值越大，项目越容易。将以等级量表表示的P值转换为具有相等单位的等距量表Z值：将某题的通过率P视为正态分布曲线下的面积；查正态分布表找出正态曲线右侧面积所对应的Z分数。Z值越大，项目越难。美国教育测验服务社（ETS）：△=13+4Z△取值范围为1～25四、难度对测验分布的影响常态分布：平均难度在0.5左右负偏态分布：测验容易，P值大正偏态分布：测验过难，P值小ACB第二节项目的鉴别力一、定义二、估计方法一、定义项目的鉴别力（Itemdiscrimination），又称项目的区分度。指项目得分对被试实际水平的区分能力或鉴别能力。二、估计方法极端组法相关分析法因素分析法1．鉴别指数（极端组法）►高分组与低分组在某一项目上的通过率之差D=PH－PLD＝鉴别指数PH＝高分组通过率PL＝低分组通过率例题选取有代表性的试卷370份，按照总分高低排序，将从最高分向下的27%（100人）作为高分组，将从最低分向上的27%（100人）作为低分组。某题的答题情况如下表。试计算该题的鉴别指数。组别选择各项答案的人数ABCD未答正确答案高分组低分组8363421143046200B鉴别指数与项目的优劣D测题评鉴0.4以上优良0.30-0.39良好，如能修改更好0.20-0.29尚可，仍需修改0.19以下劣，必须淘汰2．相关分析法项目得分与总分的相关项目间的相互相关项目得分与效标的相关⑴项目与总分的相关点二列相关二列相关积差相关点二列相关项目是0、1记分，总分是连续变量pqpbitXXrpqS1pbipqtrXXSpqp点二列相关系数答对该题的被试在总分上的平均得分答错该题的被试在总分上的平均得分全体被试的总分标准差该题的难度例题学生12345678总分9087838080777168项目得分11101000二列相关项目和总分都是正态连续变量，但项目得分被人为地分为两个类别pqtXXpqbSYrpqtXpXqSpqYpqY等距（等比）变量中与对应的那部分数据的平均值等距（等比）变量中与对应的那部分数据的平均值全部等距（等比）变量的标准差二分变量中取某一值的变量比例二分变量中取某一值的变量比例标准正态曲线下与交界点的轴高度例题学生12345678总分9087838080777168作文得分3635332824262122通过与否11111100积差相关项目和总分均为正态连续变量⑵项目间的相互相关又称项目的组间相关项目是0、1记分项目是非0、1记分项目是0、1记分第i题01第j题1ABA+B0CDC+DA+CB+D项目是0、1记分四项相关Φ相关cos180tADrADBCBCADrABCDACBD项目是非0、1记分积差相关⑶项目与效标的相关项目的效标效度分析计算方法与前面项目与总分的相关基本相同相关系数的统计检验以相关系数计算项目的鉴别力时，鉴别力达到多高时才可以接受？相关系数不是来源于ρ=0的总体！参考王孝玲《教育统计学》第十一章（1993）3．因素分析法一般是先通过因素分析发现测验中的若干共同因素，再分析每一项目在各共同因素上的因素载荷（FactorLoading）。当一个项目在预先假定要测量的因素上要较高的载荷时，该项目就被认为是有较高区分度的。项目的因素载荷一般要在0.30以上才是可以接受的。第三节项目分析的相关问题一、难度、区分度与测验信度和效度二、依据项目统计量挑选项目三、选择题的选答项分析四、标准参照测验的项目分析一、难度、区分度与测验信度和效度难度与区分度的关系难度与测验的信度和效度区分度与测验的信度和效度1．难度与区分度的关系测题难度对其区分度的影响可以通过不同难度的测题提供了多少次被试间相互比较的机会而得到说明。如果通过某题的有R人，未通过的有W人，则该题鉴别出的差别是R×W人次。当P=0.50时，题目鉴别出的差异次数最多，即该项目的鉴别力最大。难度与区分度最大值的关系难度P区分度最大值1.000.000.900.200.800.400.700.600.600.800.501.002．难度与测验的信度和效度当测验题目的平均难度为0.50时，测验分数呈正态分布：测验的方差最大，信度也就最高；与心理特质的正态分布吻合，测验具有最大的鉴别力，测验的效度才能达到最高。3．区分度与测验的信度和效度以项目与总分的相关来计算时，区分度体现了测验的同质性。区分度高时，测验的同质性就越高，测验的信度就高。项目区分度的总和就是测验的效度。区分度与信度的关系区分度（D）信度0.12250.000.160.420.200.630.300.840.400.9150.500.949二、依据项目统计量挑选项目根据难度挑选项目根据区分度挑选项目1．根据难度挑选项目对大规模群体的个体水平进行区分和鉴别：所有项目平均难度为0.50左右，难度值在0.20～0.80之间（或0.35～0.65之间）选拔或筛选测验：难度P=优秀人员的录取率选择题：难度一般应大于猜测概率2．根据区分度挑选项目鉴别指数D在0.30以上；相关系数不低于相应的临界值。三、选择题的选答项分析一般要求正确选项：高分组选择人数多于低分组错误选项：高分组选择人数少于低分组异常情况正确答案无人选，或所有被试都选择正确答案；错误答案选的人太多；正确选项高分组选择人数少于低分组；错误选项高分组选择人数多于低分组；某个选项无人选择；未答的人数较多。项目分析实例题号组别选择各项答案的人数ABCD未答正确答案难度P区分度D1高分组低分组0363923203246184B2高分组低分组221210488322511239A3高分组低分组1615762036287263D4高分组低分组219520181254160C项目分析实例题号组别选择各项答案的人数ABCD未答正确答案难度P区分度D1高分组低分组0363923203246184B0.340.042高分组低分组221210488322511239A0.27-0.103高分组低分组1615762036287263D0.440.364高分组低分组219520181254160C0.7450.41四、标准参照测验的项目分析项目的难度项目区分度1．项目的难度与测验目的有关。相对于标准的高低。P=掌握组的通过率－未掌握组的通过率2．项目区分度教学敏感度指数鉴别度指数⑴教学敏感度指数D=Ppost－PpreD=教学敏感度指数Ppost=后测中的通过率Ppre=前测中的通过率问题练习效应；需要有后测；D值低难以区分是教学不良还是题目区分度不好。⑵鉴别度指数B=U/n1－L/n2B：某一测题在达标分数线为某一特定值时的区分能力U：掌握组中正确回答了某题的人数n1：掌握组的人数L：未掌握组中正确回答了某题的人数n2：未掌握组的人数问题：依赖具体的达标分数线。第四节项目反应理论一、经典测验理论的局限性二、项目反应理论的诞生三、IRT的特点四、IRT的基本假定五、项目反应模型六、IRT的优点与运用