项目分析2875371597

第六章测验的项目分析第一节测验的难度第二节测验的区分度第三节猜测问题与猜测率第四节多重选择题的项目分析第五节标准参照测验的项目分析第一节测验的难度一、难度的意义１、定义:测题的难易程度(能力测验)测题的“通俗性”或“流行性”的程度(人格测验)２、难度与难度系数成反比３、难度系数的范围在0至1之间二、难度估计的方法１、通过率法A.用于二值记分的测题B.用于非二值记分的测题２、分组法用于样本很大的测题P为难度系数Hp为高分组(总分排在前27%的被试)答对该题的百分比LpLp为低分组(总分排在前27%的被试)答对该题的百分比三、测验难度水平的确定项目难度多高合适，取决于测验的目的、性质以及项目的形式。1、如果测验是为了了解被试对知识、技能的掌握情况，就不必过多考虑难度；2、如果测验用于选拔人员，就应该比较多地采用难度值接近录取率的项目。3、如果测验是为检验被试个体间的差别，则应选择接近中等难度的项目。四、难度的等距变换由于难度系数仅具有顺序性，不同的难度的项目无法直接进行比较。若要进行比较，则需要把它转换成等距量表。△=13+4Ｚ△值越大，难度越高，△值越小，难度越低．五、测题难度的确定与分数分布越是接近中等难度的题目越具有区分的作用,也就是越是靠近0.50的题目越好,其区分程度越高.如:1×99=992×98=19630×70=210050×50=2500直观检验难度的方法：第二节测验的区分度一、区分度的意义是指测验项目对被试心理品质水平差异的区分能力。区分度的取值范围介于-1.00至+1.00之间。通常D为正值，称作积极区分；D为负值，称为消极区分，D为0称作无区分作用。具有积极区分作用的项目，其D值越大，区分的效果越好。二、区分度的计算（一）项目鉴别指数法（适用于０－１计分题）１、鉴别指数的计算高分组通过率减去低分组通过率.公式:D=PH-PL２、鉴别指数与测题的评价_____________________________D测题评价--------------------------------------------0.40以上非常优良0.30-0.39良好,如能修改更好0.20-0.29尚可,但必须修改0.20以下劣,淘汰----------------------------------------------３、极端组的划分根据效标成绩或测验总分将被试排队，取２７％的高分端被试组成高分组，另外２７％的低分端组成低分组，其余４６％的被试可以不作分析。一般情况下，介于２５％－３３％即可。当样本人数过少时（n＜１００），不宜采用２７％的规则，可以用５０％作为分界点。优点：计算方便，容易理解缺点：只利用了部分信息，计算结果的准确性差二、相关法以项目分数与效标分数或测验总分的相关作为项目区分度的指标．相关越高，项目区分度越高．１、二列相关(两个连续变量，但其中一个变量被人为分成两类。)公式:=该题及格的被试在总分上的平均分=该题不及格的被试在总分上的平均分p=该题的难度q=1-pSt=全体被试的总分标准差ypsxxrttpb或ypqsxxrtqpb=总分平均数tstxtxy为p与q交界处正态曲线的高度二列相关系数的显著性检验公式brbrNpqyrzb1N为被试总人数y为正态分布下答对百分比所在位置曲线的高度例：下表有20个学生语言测验部分以及在作文题上的得分情况，假设作文37分(包括37分)算通过，试计算作文题的区分度。总分8652947265227683807576736291477481886258作文题得分4737552722103542463940413852213942482927解：08.7813)88817491627376758083945286(px43.577)58624776226572(qxP=13÷20=0.65，q=1-p=1-0.65=0.3563.277)201417(20105947)(2222NXNXst查表y=0.37041417X1059472X66.16ts76.03704.035.065.066.1643.5708.78br96.16.22035.065.037.0176.0z可见，作文分数与总分相关显著2、点二列相关(一个变量为连续变量，另一个变量为二分变量)公式:pqsxxrtqppbqpsxxrttppb或=该题及格的被试在总分上的平均分=该题不及格的被试在总分上的平均分p=该题的难度q=1-pSt=全体被试的总分标准差=总分平均数tx15个学生某测题的得分与总分情况学生123456789101112131415总分908180787770696555504942353110某题101111100010100查相关系数显著性临界表，当df=13时，Rpb必须达到.514才达到.05的显著性水平。3、用Φ系数计算区分度(二变量均为二分称名变量)))()((dbcadcbaadbc若检验Φ值是否显著，应先将Φ值转换成值：22222nΦ答错答对合计升级2a6b8a+b留级5c2d7c+d合计7a+c8b+d1515个学生数学成绩四格表464.08778)22()56(Φ299.3)464.0(15222n查值表，df=13时，=3.841才达到0.05的显著性水平。计算出的值仍未达到显著性水平。222４、积差相关法两变量均为连续变量，且被试团体较大时，可以认为项目分数服从正态分布．可将项目得分与效标分数求积差相关系数以得到项目的区分度．（三）因素分析分析测题在一个因素上的负荷,负荷越大说明越有区分度,一般在0.30以上才是可以接受的.（四）方差法方差大说明离散程度越高,那就具有鉴别力.公式:1n)x(xs2i2（当n＜30时）（当n≧30时）三、难度与鉴别力（区分度）的关系------------------------------------------PD------------------------------------------1.000.000.900.200.700.600.600.800.501.000.400.800.300.600.100.200.000.00-----------------------------------------------区分度与难度的关系（续）1）难度和区分度都是相对的，是针对一定团体而言的，绝对难度和区分度是不存在的。2）一般说来，较难的项目对高水平被试区分度高，较易项目对水平低的被试区分度高，中等难度的项目对中等水平的被试区分度高。3）由于人的多数心理特性呈常态分布，所以项目难度的分布也以常态为好，即特别难与特别容易的题目较少，越接近中等难度的题目越多，而所有项目的平均难度为0.50.四、区分度的相对性１、不同的计算方法，所得区分度不同２、样本容量大小影响相关法区分度值的大小３、分组标准影响鉴别指数（Ｄ）４、被试样本的同质性程度影响区分度值的大小．第三节猜测问题与猜测率一、客观测验题中的猜测问题与猜测率１、在客观题中，尤其在是非题、配对题及选项较少的选择题中，被试的猜测会提高他们的分数．被试凭猜测选择正确答案的机会是１／Ｋ．２、猜测误差的来源：１）猜相对于不猜引起的误差２）是否猜得对引起的误差二、项目难度受猜测影响的校正１、校正公式（适用于对单一项目通过率的校正）ＣＰ为校正后的通过率，Ｐ为实际通过率，Ｋ为备选答案数目．２、校正难度的作用１）检验实际难度例:某题通过率为75%,是一个五选一的题目.２）比较两个不同选项数题目的难度例:有二道题,一题的难度为0.50,有五个选项,另一题的难度为0.53,有四个选项.３、总分校正公式如果被试参加的测验全部是由选择题或是非题组成，则被试总分也有猜测的成份，需要对其总分进行校正1KWRS式中Ｓ为校正后的得分，Ｒ为被试答对的项目数，Ｗ为被试答错的项目数，Ｋ为项目的选项数目．例：某被试参加由200道选择题组成的测验，每道题都有五个备选答案，测验结果是答对了120题，而答错了80题，请问如果除去猜测成份，则该被试的实得分数（每题0.5分）是多少？10015801201KWRS505.0100答：该被试的实得分数应该是50分．３、猜测校正的优缺点赞成的理由：１）可避免降低测验的信度；２）校正后的得分可以反映被试的真正水平和能力；３）在教育测验中，可以培养被试诚实的美德；４）比较公平反对的理由：１）公式的基本假设不成立；２）只要被试能答完全部题目上，则猜测校正无实质作用，因校正前后的相对分数完全相同；３）不采用猜测校正对信度并无重大影响；４）有时会出现无法解释的现象，如校正后得零分或负分的现象；５）在实际生活中，合理的猜测是值得培养的习惯．第四节选项分析１、选项设置不当会降低题目的难度,所以也要对选项作分析,看有无异常情况.通常判断选项好坏有以下几点:1)正确答案无人选或少于其它选项的人数.2)错误答案选的人太多.3)正确选项高分组选择人数少于低分组.4)错误选项上高分组选择人数多于低分组.5)选项无人选择.6)未答人数较多.题号组别选答人数正确答案ABCD未答1高分组592120B低分组2250121602高分组581015161A低分组2621153623高分组1715282812D低分组25111934114高分组14414365C低分组15610285也可以用高分组的反应情况来判断选项选择是否得当.1)选项ABCD*高分组11922)选项ABC*D高分组43333)选项A*BCD高分组6016项目U（20）M（20）L（20）难度（U+M+L）鉴别度（U-L）11597318220201656a43191894610410111637-6a5111311350a61614939775005a5……75a:选出要讨论的项目项目组别反应选项123452高分组低分组0200012016014高分组低分组0210169200105高分组低分组2133331111227高分组低分组5035584334……个别项目的反应分析注：黑体为正确选项２、项目分析步骤1）选取有代表性的样组实施测验.2）计算每个人的总分,然后按总分分组.3）计算高分组和低分组通过每一题的比率.4）分别求出每一测题的难度和鉴别指数.5）选项分析.6）修改测题或选项.第五节标准参照测验的项目分析标准参照测验是用来测量学习前后被试的差异或受过训练与没有受过训练被试之间的差别.测验结果参照的不是常模,而是某一种标准.标准参照测验的项目分析所采用的方法1.以达标与否分组,然后计算两组被试在每一题上的成绩差异,算出难度和区分度.公式(难度):2.教育效果敏感指公式:(区分度):NRRPLH2NRRPLH2学生测题12345前后前后前后前后前后A-+-+++--+-B++-+++--+-C-+-+++--+-D-+-+++--+-E++-+++--+-F---+++--+-15个学生某测题的得分与总分情况学生123456789101112131415总分908180787770696555504942353110某题10111110001010053.0158nrp15个学生某测题的得分，此题总分为10分学生123456789101112131415某题99966644422200042.01015000222444666999maxxxp例：在100名学生中，高分组与低分组各有27人。其中高分组答对第一题的有20人，低分组