第六章项目分析

心理测量学Mentalmeasurement精神卫生学院曹运华第六章项目分析Itemanalysis我们本章要解决的问题:5个1.什么是项目分析及意义2.什么是难度及难度的计算？3.难度的矫正公式？4.什么是项目的区分度及区分度的计算方法？5.测验的项目分析实例本章前提：怎样从校区到龙沙公园？怎样从校区到龙沙公园？1.大家知道两者的距离大约是？2.那方法和工具都有哪些啊？3.如果咱们把距离拉远，从齐市到哈市的方法都有哪些啊？4.各方法的效率是一样的吗？小结论：1.要想高效、经济地达到目的，选择一个合适的、良好的工具是必要的条件。2.测量也是如此，要想完成测量目的，必须选择一个质量良好的测量工具，对心理测量来说，就是选择一个良好的测验。3.那么如何才能确定一个测验质量是良好的？一.如何对测验进行分析和鉴定？（一）测验进行鉴定Testanalysis（二）题目进行鉴定Itemanalysis鉴定测验的方法(一)如何对整个测验进行鉴定？整个测验定性分析统计量分析信度值效度值（二）组成测验的题目进行鉴定项目分析定性分析定量分析难度值区分度总结：好的题目好的测验有效完成测量目的二.项目分析的意义：5个1.可以为筛选和修改测题提供依据。2.有助于提高测验的信度和效度。3.有助于标准化题库的建设。4.有助于测验结果的合理解释。5.有助于测验编制技能和技巧的提高。第一节测验的难度Testdifficulty一、难度的意义难度(difficulty)：是指测验项目（题目）的难易程度。想一想：1、在期末考试时数学老师出了一套考试试卷，全班30人中26人考了95分以上，这个试卷的题目难吗？2、要是30人中26人考了50分以下，这个测验难吗？二、难度的计算：公式1（一）二分法记分的项目计算%100NRPP：难度R：答对该题的人数N：全体被试人数阅读：什么是二分法计分？二分法计分：即一题目的得分只有0分、满分两种可能，也就是说被试答对该题得满分，答错了得0分。大家想一下，它的适用题型有哪些：•1、选择题；•2、填空题；•3、判断题等。例题及分析：例题1：设有80名被试参加某一个测验，答对其中某题的有32人，问该题的难度指数是多少？想一想：1、P值的范围？2、P值与测题难度的关系？分析与结论：P与难度1、P值的范围：[0，1]2、P值越大，难度越小；P值越小，难度越大。3、其中P=0和P=1是极端难度。『想一想』：此公式适用条件1.用公式1计算一个测题的难度，需要知道哪些条件（数据）？2.要是被试人数较多（N＞100），用这个公式计算测题难度系数就会出现什么情况？计算：公式22PPPLHP：难度Ph：高分组的通过率Pl：低分组的通过率阅读：高分组和低分组怎么划分?在人数较多的时候，不宜采用公式1进行运算，这是可用极端分组法进行计算。分组的步骤如下：1、先把所有被试的总分按从高到低排列2、从最高分开始向下取27%的被试作为高分组；3、从最低分开始向上取27%的被试为低分组。相关例题分析1：书上例题：P73在370名被试中，高分组有70人答对第一题，低分组有40人答对第一题，那么该题的难度是多大？该怎样解答该题啊？相关例题分析2：2000年华东师范大学考试题（3分）：一个测验高分组有80%的被试通过，低分组12%的被试通过，那么该题的难度是多少？计算：公式3（二）非二分计分项目的难度计算：%100XXPmaxP：难度X：被试的平均得分X：该题的满分值阅读：什么是非二分计分？非二份计分：是指被试在一个题目上的得分有从0分到满分的多种可能。大家想一下，和二分法计分相比，非二分法计分适用题型有哪些：1、简答题；2、论述题；3、作文题等例题分析1：书上例题2：P74数学测验的第七题的满分是15分，在该题上考生的平均得分是9.6分，则该题的难度是多少？相关例题分析2：例题2：一测验的第3题的满分是15分，在该题上高分组考生的平均得分是9.6分，低分组考生的平均得分是3.6分，则该题的难度指数是多少？三、难度的矫正公式在选择题和判断题上，有一个重要的问题是：测验得分是被试能力的反应还是因为猜测而获得的成功。比如：考试时有选择题不会，你会怎么办？这样大量的猜测会对被试在选择题和判断题的分数产生影响。『想一想』猜测误差的种类在客观性测题（选择、是非等）中，不可避免的存在着猜测误差。那么，想一下猜测误差的种类有哪些？这样大量的猜测会对选择题和判断题的分数产生影响，这时就需要进行矫正。（一）难度的矫正公式：11KKPCPCP：矫正后的难度P：未矫正前的难度K：备选答案的数量。相关例题分析：2002年华东师范大学考试题（4分）：某一个测验中，一个五选一的测题的难度值是0.61，另外一个四选一的测题难度是0.64，请问这两个测题的哪个题难度较大？该怎样才能正确解答？（二）猜测校正的基本假设：校正公式的基本假设是：被试不知道正确答案时，完全凭猜测作答，猜测的成功与否完全由随机因素所致，即被试选择某一个备选答案是随机决定的。小问题：大家同意这个假设吗？同意，为什么？不同意，为什么？（三）赞成使用的观点：2个1.校正后的得分可以反应被试得分的真正水平和能力。2.在教育测验中，可以培养学生诚实的美德。（四）反对使用的观点：3个1.校正公式并不是对难度系数的真正校正。2.公式的基本假设不成立。3.在实际生活中，经常缺乏充分的证据和资料，这时进行合理地猜测是值得培养的能力。四、难度对相对性一测题的难度并不是固定不变的，它为因情况不同而有所变化。也就是说，难度是相对的。影响难度性对性的因素：1、团体的平均水平；2、测验的编制技术。五、难度对测验的影响1.难度影响测验分数的分布形态及范围2.影响测验分数的离散程度3.影响测验项目的鉴别能力分数分布形态：正偏态『想一想』正偏与难度关系？1.大家想一想，测验分数分布是正偏态分布，说明了什么情况？2.大部分被试的得分是比较高还是比较低？3.分数正偏态分布是说明测验较难还是相对比较容易？分数分布形态：负偏态『想一想』负偏与难度关系？1.大家想一想，测验分数分布是负偏态分布，说明了什么情况？2.大部分被试的得分是比较高还是比较低？3.分数负偏态分布是说明测验较难还是相对比较容易？相关例题分析：1997年北京师范大学实验心理学（含心理测量）试题。简答题（5分）2、记忆实验中出现很多被试的记忆量达到了100%的现象，说明此实验处理存在什么问题，应如何改进？正偏与负偏及处理方法：1.正偏态分布：即大多数集中在低分端，说明测验对被试来说偏难，因此必须增加足够数量的较容易的项目。2.负偏态分布：即大多数被试的得分集中在高分端，说明题目偏易，应该增加一些较高难度的项目。分数分布形态：正态六、难度水平的确定项目的难度水平多高合适，取决于测验的目的以及测验的性质。1.当测验为教育测验和总结性测验时，可以不过多考虑难度，只要教育者认为重要的内容就可选用。2.当测验目的是选拔录用人员时，难度视录取率而定。3.一般性测验中的难度应怎么样？七、难度的等距转换1.以项目的通过率P来表示一个项目的难度，计算方便，便于理解。2.它是属于何种测量水平？3.这样的难度系数是否存在什么问题？相关例题分析：现已知某一个测验的第一题的难度P为0.027，第二题的难度P为0.50，第三题难度P为0.84，请问，这三道题中：1、难度最大的是哪道题？2、第一题比第二题难多少？3、第二题比第三题难多少？总结：难度的等距转换顺序等距（一）难度等距转换步骤：5步法1.计算项目的通过率P；2.把P转换为从右至左而行的正态曲线下的面积；3.查Z表，看对应面积的Z值；4.按Z′=13+4Z转换；5.比较Z′值。补充知识：正态曲线下的面积面积转换示意图：(二)相关例题分析1：现已知某一个测验的第一题的难度P为0.027，第二题的难度P为0.50，第三题难度P为0.84，请问，这三道题中：1、难度最大的是哪道题？2、第一题比第二题难多少？3、第二题比第三题难多少？（二）相关例题分析2：现已知有80人参加某一个测验，其中答对第一题的人数是32人，答对第二题的人数是48人。请问：1、这两道题的难度差距是多少？第二节测验的区分度Testdiscrimination一、区分度的意义：项目的效度（一）区分度（discrimination）：又称鉴别力，是指测验项目对被试心理品质水平差异的区分能力或鉴别能力。（二）区分度的重要性：（1）测验有效的“指示器”；（2）评价测题质量，筛选测题的主要指标，又被称为“项目的效度”。具有良好区分度的项目，应该将不同水平的被试区分开来。中得分高高水平被试低中等得分低二、区分度的计算：2类区分度计算方法：（一）鉴别指数法（二）相关法二、区分度的计算（一）鉴别指数法discriminationindex高分组和低分组通过率的差别，来计算区分度。情景：常用、易用（二）相关法interrelatedmethod单一项目分数与效标分数或测验总分的相关可作为区分度的指标。适用情景：大规模测验或标准化测验。（一）鉴别指数法1.鉴别指数（D指数）：高分组与低分组的通过率之差。计算公式：D=PH–PL大家想一想，根据计算公式：（1）D的取值范围是多少？（2）D值与项目质量的关系？例题：1999年华东师大考研计算题：一个测验的测题全部是由五选一的选择题组成的，其中第一题上端27%的被试P=0.75，下端27%的被试P=0.35，请问它的鉴别力多大？D的判定：D值范围测题的质量评价D0有效区分保留D=0无区分D0消极区分舍弃2.伊贝尔鉴别指数标准：鉴别指数D题目质量评价0.40以上很好0.30-0.39良好，修改会更好0.20-0.29尚可，仍修修改0.19以下差，需淘汰例题：1999年华东师大考研：计算题：一个测验的测题全部是由五选一的选择题组成的，其中第一题上端27%的被试P=0.75，下端27%的被试P=0.35，它的鉴别力多大，该题可以接受吗该怎样作答？3.项目特征曲线：通过率1.000.000.50低中高能力ABCD项目特征曲线分析：题号质量评价态度1？？2？？3？？4？？项目特征曲线分析：题号质量评价态度1有效区分保留2无区分舍弃3低区分舍弃？最好修改4无效区分舍弃（二）相关法interrelatedmethod假设：特质水平测验总分数项目分数1．点二列相关条件：项目是二分记分，效标或总分是连续变量。相关例题分析：15名被试效标分数和一题目得分序号123456789效标657031498050351681题分0101101002、二列相关适用条件：两个都是连续变量，但其中一个变量被人为分成两类。3、φ相关适用条件：两个变量都是二分类型的变量4、积差相关适用条件：两个变量均是连续变量。三、区分度与难度的关系难度区分度区分度与难度的关系：1、极端难度：区分度低2、中等难度：区分度最大3、大家想一下，想提高测验的区分度，根据难度和区分的关系，一个可行的方法是什么？办法：难度正态分布，并把大部分测题的难度保持在中等难度四、区分度的相对性1.计算方法不同，区分值也不同;2.用相关法计算受样本容量大小的影响;3.用鉴别指数计算受分组标准的影响;4.受被试团体异质性的影响;5.受题目难度的影响.五、项目分析报告Itemanalysisreport如何做项目分析报告？（一）项目分析步骤:6步1.选取代表性样组N人，按规定程序施测。2.按测验总分的高低次序排列，从最高分开始向下取27%（50%）为高分组，从最低分开始向上取27%（50%）为低分组。3.分别计算高分组和低分组在每一个测题上的通过率，即PH和PL。4.按照公式P=（PH+PL）/2和D=PH–PL计算测题的难度和区分