6第六章-测验的项目分析

测验质量信度效度测验项目如何分析项目的好坏？筛选题目编制测验第六章测验的项目分析(Itemanalysis)项目分析的内涵项目分析是对测验中每个题目的质量进行的分析，包括质的分析和量的分析。质的分析:主要由专家对项目的内容和形式进行分析，包括考察内容效度、题目编写的恰当性和有效性等。量的分析：是通过计算项目的一些统计量作为项目质量高低的指标，包括项目的难度和区分度。目的：对项目进行筛选和修订，提高测验的信度和效度。如题库的建立测验质量信度效度项目质量难度筛选题目编制测验区分度目的教学目标通过本章的学习可解决三个问题：一、掌握什么是测验的难度，如何计算测验的难度（重点）二、掌握什么是测验的区分度，如何计算测验的区分度，难度和区分度的关系怎样（重点）三、掌握项目分析的其他特殊形式第一节项目的难度一、难度的含义1.难度（difficulty）指测验项目的难易程度。2.一个测验项目，如果大部分被试都能答对，该项目的难度就小；如果大部分被试都不能答对，则该项目的难度就大。3.难度过大或过小的题目，都不能很好地将不同水平的被试区分开来，因此对常模参照测验的价值就不大。二、难度的计算方法难度通常以答对百分比作指标。（一）二分法记分的项目1.通过率若试题为二分法记分项目（即答对给1分，答错记0分）时,难度的指标通常以通过率表示，即以答对或通过该题的人数的百分比来表示：式中，P代表项目的难度，N代表全体被试者人数，R为答对或通过该项目的人数。P值越大，则难度越小；反之越难。例题10名被试在某选择题上的得分如下，试计算该题的难度。被试12345678910得分11001101102.极端分组法当被试人数较多时，则可根据测验总成绩将被试分成三组：分数最高的27%被试者为高分组（NH）,分数最低的27%被试者为低分组（NL）。分别计算高分组和低分组的通过率，以两组通过率的平均值作为每一题的难度。公式为：PH、PL分别代表高分组和低分组的通过率。例题选取有代表性的试卷370份，按照总分高低排序，将从最高分向下的27%（100人）作为高分组，将从最低分向上的27%（100人）作为低分组。某题的答题情况如下表。试计算该题的难度。组别选择各项答案的人数ABCD未答正确答案高分组低分组8363421143046200B练习题练习题1：80名学生参加了某个测验，答对第3道选择题的有64人，请问该题目的难度是多大？练习题2：100个学生参加了某测验，其中某选择题的答题情况如下表所示，计算该题目的难度。选项高分组低分组难度A*BCDE515007371205注意：标准化测验一般采用27%为分组点。也可以取总人数的1/4或1/3（即25%或33%）为分组点。当样本小于100时，一般选50%作为分界点。（二）非二分法计分的难度当项目是多重计分时，难度等于平均分与满分之比。P=试题的难度=全体被试在该题上的平均分数=该题的满分分数maxXX例题问答题满分为15分，10名被试在该题的得分如下。试计算该题的难度。被试12345678910得分131510109111091110问题有A、B两个测题，项目A为四重选择题，通过率为0.58；项目B为五重选择题，通过率为0.56，能否说项目A更容易，项目B更难？（三）难度的校正由于选择题允许猜测，所以通过率可能因机遇作用而变大。备选答案的数目越少，机遇的作用越大，越不能反映测验的难度。为了平衡机遇对难度的影响，吉尔福特提出了一个难度的校正公式：CP=矫正后的难度P=未矫正的难度K=测题的选项数目例题1.一个五择一的项目，其通过率为0.50，则排除猜测的影响，矫正后的难度为多少？2.有A、B两个测题，项目A为四重选择题，通过率为0.58；项目B为五重选择题，通过率为0.56，试比较两题的难度。P值的范围在0-1之间。P值越大，题目越容易；P值越小，题目越难。P值与我们通常理解的难度意义正好相反，也有人将称它为容易度。P值的范围及其意义三、测验难度水平的确定进行难度分析的主要目的是为了筛选项目，项目的难度多高合适，取决于测验的目的、性质以及项目的形式。一般准则：平均难度在0.50左右。1.成就或学绩测验：不考虑难度（Why?）目的是考察教学内容的掌握情况。只要是必须掌握的内容，不论其难度都可以作为考试项目，其难度可以从0-1之间变动。2.选拔性、竞赛性考试：其项目难度应接近录取率。思考：若选拔率为15％，题目的难度该多少？若测验的目的在于选出20%的差生进行特别辅导，题目的难度该多少？3.选择题的难度：P值要大于猜测概率。4.人格测验的难度：不存在难度问题，于此相应的指标是“通俗性”。5.对于一般性测验而言，项目难度的一般标准应在0.3-0.7之间；四、难度的等距转换使用项目难度等距量表的理由：⑴测题的难度一般用答对某题的人数的百分比表示。百分量表是等级量表，而非等距量表。也就是说它只表示事物之间大小的关系，但没有相等的单位。用百分比P值作为难度指标，实际上是在顺序量表的水平上衡量题目的难度。⑵难度的等级量表是反序而行的，P值越大，项目越容易，这与我们的日常概念是相反的。当样本的容量很大时，测验分数接近正态分布。将某题的通过率P视为正态分布曲线下的面积；查正态分布表找出正态曲线右侧面积所对应的Z分数。就可以将以等级量表表示的P值转换为具有相等单位的等距量表Z值。（一）Z值Z是均值为0、标准差为1的标准分数。Z在-3到3之间变动。通过查阅正态分布表，可以从P值查到Z值。Z值越大，题目越难；Z值越小，题目越容易。这一点与P值的含义相反。试题P值Z值1230.700.600.50-0.52-0.250（二）Δ值美国教育测验服务中心（ETS）的难度指标：Δ=13+4×ZΔ值是对Z值的线性转化，平均数为13，标准差为4。Δ在1与25之间变动注意：Δ值越大，难度越大；Δ值越小，难度越小。这一点也与P值的含义相反。P=0.9987时,Z=－3,故Δ=13+4(－3)=1P=0.9772时,Z=－2,故Δ=13+4(－2)=5P=0.8413时,Z=－1,故Δ=13+4(－1)=9P=0.5000时,Z=0,故Δ=13+4(0)=13P=0.1587时,Z=+1,故Δ=13+4(+1)=17P=0.0228时,Z=+2,故Δ=13+4(+2)=21P=0.0013时,Z=+3,故Δ=13+4(+3)=25由此可见，常用的Δ值域介于1~25之间，Δ值越大，试题越难；Δ值越小，试题越容易。例题如果某测验两个题目的难度分别是0.50和0.60，其对应的标准分数分别是：0和-0.25，则它们转换为等距量表的难度值是多少？五、项目难度对测验的影响1、项目难度影响测验的编排一般根据试题的难度，按照由易到难的顺序编排。2、项目难度影响测验分数的分布形态⑴整个测验的难度中等，测验的分数接近正态分布；⑵测验的难度偏大，则大多数被试集中在低分端，“正偏态分布”；⑶测验的难度过低，则大多数被试集中在高分端，“负偏态分布”。常态分布：平均难度在0.5左右负偏态分布：测验容易，P值大正偏态分布：测验过难，P值小ACB3、项目难度影响测验分数的离散程度题目难度过大或过小，测验分数的离散程度小；题目难度在0.50左右时，分数分布的离散程度最大。4、项目难度影响测验信度当测验难度的平均值在0.50左右时，分数的分布范围最广，以相关系数为基础的信度也变得相对较高。5、项目难度影响区分度第二节项目的区分度一、区分度的含义1.区分度(discrimination)指测验项目对被试心理品质水平差异的区分能力或鉴别力。2.区分度良好的项目，能够将高水平与低水平的被试区分开来。即高水平个体在该项目上得分高，低水平被试在该项目上得分低。3.项目分析中，一般采用被试的测验总分作为判断其水平的效标分数，即内部效标。也可以采取外部效标。区分度一般用D表示。D值在-1～1之间变动。D为正值时，称为积极区分；D为负值时，为消极区分；D为0时称作无区分作用。D值越大，区分的效果越好吗？区分度的大小是测验是否有效的指示器，常常能够决定是否删除或保留一个项目，它可以作为筛选项目的一个主要指标。区分度的范围及其意义项目特征曲线（itemcharacteristiccurve,ICC）项目特征曲线描述了效标分数不同的被试在该项目上的通过率。曲线坡度越陡，鉴别力越好，预测的误差越小。率概的目项答回确正1.000.000.50低中高能力鉴别力较好低中高能力率概的目项答回确正1.000.000.50低中高能力率概的目项答回确正1.000.000.50鉴别力为负鉴别力较低率概的目项答回确正1.000.000.50低中高能力ABC难度不同的3个项目的ICC率概的目项答回确正1.000.000.50低中高能力ABCD多项选择中每个选项的ICC二、区分度计算项目区分度可以有不同的计算方法，我们要根据测验的目的以及测验分数的特征来选择合适的方法。1、鉴别指数法（适合0、1计分）一个项目的鉴别指数指总分高分组与低分组在该项目上的通过率之差。D=PH–PLD＝鉴别指数PH＝高分组通过率PL＝低分组通过率D=1D=0各表示什么意思？D=-1例题选取有代表性的试卷370份，按照总分高低排序，将从最高分向下的27%（100人）作为高分组，将从最低分向上的27%（100人）作为低分组。某题的答题情况如下表。试计算该题的鉴别指数。组别选择各项答案的人数ABCD未答正确答案高分组低分组8363421143046200B选答人数正确答案B鉴别指数D？组别ABCD未答高分组884530低分组183522250鉴别指数的含义D为1时，表明高分组被试全部通过，而低分组被试全部失败；D为-1时，含义相反；D为0时，表明高分组和低分组通过率一样。作为鉴别指数的D值的含义，是高分组比低分组通过率高出的百分比程度。鉴别指数的一般标准（美.艾伯尔）鉴别指数D题目评价0.4以上优0.30-0.39良好，如能修改，则更佳。0.20-0.29尚可，须修改在0.19以下劣，必须淘汰。极端组的划分，见P792、相关法鉴别指数只考虑了高分组和低分组的情况，浪费了测验中的许多信息，统计结果的精确度与分析全体被试的数据要差一些。在大规模或标准化的测验中，大多采用相关法来计算项目区分度。可以有两种计算途径：其一，计算项目得分与测验总分的相关系数；其二，计算项目得分与外部效标的相关系数。对相关系数进行显著性检验。相关越高，项目区分度越高。数据性质与计算相关系数的方法相关种类变量1变量2公式点二列相关真正的二分变量，类别数据常态分布的连续变量二列相关常态分布的连续变量，但人为地分为两个类别。常态分布的连续变量φ相关真正的二分变量，类别数据真正的二分变量，类别数据积差相关连续变量，正态分布连续变量，正态分布见第四章公式))()()((dbcadcbabcadypq.（1）点二列相关一个是二分变量（如0、1计分），另一个是正态分布的连续变量。例题学生12345678总分9087838080777168项目得分11101000点二列相关系数的显著性检验用相关法计算出来的区分度，不能采用艾伯尔的鉴别指数评价标准，而是要进行显著性检验才能确定其意义。点二列相关系数的检验有两种方法：（1）采用积差相关系数的检验方法进行检验。查阅积差相关系数的检验表。（2）用t检验，比较与是否存在显著差异。如果两者差异显著，则相关系数也显著。pxqx（2）二列相关两个变量都是常态分布的连续变量，但其中一个被人为分为两个类别。例如，项目是多重记分的连续变量，总分（效标）也是连续变量，但总分被人为地分为及格与不及格。或者，总分是连续变量，项目得分也是连续变量，但项目得分被人为地分成对、错两类（如计算题，分成全对得5分，其他分数计0分）。二列相关系数的计算公式·ypq公式中只有y不同于点二列相关系数的公式，它可以根据P的值，通过查正态分