心理测量学--项目分析等

2019/9/61第五章心理测量学知识第一节概述第二节测验的常模第三节测验的信度第四节测验的效度第五节项目分析第六节测验编制的一般程序第七节心理测验的使用2019/9/62第五节项目分析第一单元项目的难度第二单元项目的区分度2019/9/63项目分析包括：定量分析、定性分析定量分析包括：题目难度和区分度定性分析包括：考虑内容效度、题目编写的恰当性、有效性第五节项目分析2019/9/64第一单元项目的难度2019/9/65一、难度（difficulty）的定义难度是指，项目的难易程度。在能力测验中，需要一个反应难度水平的指标，在非能力测验中，类似的指标是“通俗性”。通俗性是指取自相同总体的样本中，能在答案方向上回答该题的人数。难度的指标通常以通过率表示，即以答对或通过该题的人数百分比来表示。%100NRPP大小与难度高低成反比。所以，有人称其为“易度”。第一单元项目的难度2019/9/66%100NRP2LHPPP二、计算的方法（一）二分法记分的项目心理测验的项目大多为选择题，通过计1分，未通过计0分。其难度的计算为：当被试较多时，可根据测验总成绩将被试分组：分数最高的27％为高分组，最低的27％为低分组，中间46％为中间组。分别计算高低组通过率，以两组平均值作为每一道题的通过率。第一单元项目的难度2019/9/67由于选择题允许猜测，所以通过率可能因为猜测而变大。被选答案越少，猜测作用越大。越不能真正反映测验的难度。为了平衡猜测的影响，吉尔福特提出了一个校正公式。Cp＝KP－1／K-1第一单元项目的难度Cp是校正后的通过率。K是被选答案数，P实际通过率。比较被选答案数目不同的测题难度时，可以用此公式。2019/9/68%100maxXXP二、计算的方法（二）非二分记分的项目当测验项目为问答题或不能用二分法计分的形式时，难度如下计算：第一单元项目的难度全体被试在该题目上的平均分，除以该题的满分。2019/9/69三、难度水平的确定（一）项目难度水平的确定难度分析的目的是：筛选项目。项目的难度取决于测验的目的、性质以及项目的形式。标准测验希望能准确测量个体差异。某个题目，被试都答对或错，那么该题无法提供个别差异的信息，对测验的信度和效度没有作用，所以，P值越接近1或0，越无法区分个体差异，而P值越接近于0.50，区别力就越高。第一单元项目的难度2019/9/610为了使测验更有区别力，应该选难度在0.5左右的试题。但是，如果一个测验，所有试题相关均为1.00。难度为0.50。有一种可能：50％的被试答对所有题目，50％被试答错所有题目。那这个难度0.50还有意义吗？所以，选择题目时，所有题目平均难度接近0.5，各测题难度0.5±0.2之间最好。第一单元项目的难度2019/9/611当测验用于选拔或诊断时，应较多地选择难度值接近录取率的项目。例如，测验为了选秀，就应当有高难度，P值要小。如果录取率是20％，测题难度就应该是0.2。对于选择题来说，P值一般应大于概率水平。P值等于概率，说明题目过难或题意不清，被试凭猜测做答。P值小于概率无意义，说明题目质量有问题。是非题，难度应该在0.75最合适，四选一，0.63最合适。第一单元项目的难度2019/9/612（二）测验难度水平的确定测验的难度依赖于项目的难度。人的心理特性基本是呈常态分布的。我们使用的统计方法是以正态分布为前提。所以测验设计时，希望分数呈现常态分布。如果被试样本具有代表性，对于中等难度的测验，其测验总分应该接近常态分配。如果获得的分数不是常态，而是偏态分布的，说明题目偏难或偏易。第一单元项目的难度2019/9/613如左图，属于正偏态分布。题目难了，必须增加足够数量的较容易的项目；而右图，属于负偏态分布，题目容易了，必须增加足够数量的有较高难度的项目。第一单元项目的难度2019/9/614有些测验，如掌握性测验，或标准参照测验，分数分布出现偏态是允许的。其难度根据情况而定第一单元项目的难度2019/9/615第二单元项目区分度一、定义（itemdiscrimination）也叫鉴别力，是指测验项目对被试的心理特性的区分能力。水平高者通过，低者通不过，就有区分度。它是评价项目质量和筛选项目的主要指标，也是影响测验效度的重要原因。区分度低意味着项目不能区分被试的实际水平，这类项目达不到测验的目的，必定影响测验效度。区分度取值介于－1至＋1之间。项目得分与实际能力之间的相关来表示。相关系数越大，区分度越高。负相关说明水平越高，该项目得分反而越低，有问题，淘汰。2019/9/616第二单元项目区分度二、计算方法在理论上，项目区分度是以项目得分高低与实际能力水平高低之间的相关来表示。但是实际水平很难估计，只好用其他指标代替，常用的是测验总分。（一）鉴别指数计算方法：1、按测验总分高低排列答卷；2、确定高分组、低分组，27％；3、分别计算高分组、低分组通过率；3、项目鉴别指数为：D=PH-PL2019/9/617第二单元项目区分度用D=PH-PL作为项目鉴别指数，理由是，高分组得分率高于低分组，则D0，D越大，该项目区分两种不同水平的程度越高。如果D0，项目有问题。2019/9/6181965年，伊贝尔（L.Ebel）提出用鉴别指数评价项目性能的评价标准：鉴别指数项目评价0.4以上0.3－0.390.20－0.290.19以下很好良好，修改后更佳尚可，但需修改差，必须淘汰第二单元项目区分度2019/9/619（二）相关法计算区分度最常用的方法是相关法以某一项目分数与效标成绩或测验总分的相关作为该项目区分度的指标。相关越高，区分力越大。点二列相关：适用于一类变量为二分称名变量，另一类变量为连续变量的成对变量的相关计算。pqSXXrtqppq第二单元项目区分度不是考试内容2019/9/620二列相关：适用于两个连续变量，但其中一个变量被人为分成两类。ypqSXXrtqpb第二单元项目区分度不是考试内容2019/9/621相关法：适用于两个变量均为二分称名变量。若将测验总分按及格、不及格或录取、淘汰划分，便可计算相关系数。))()()((dbcadcbaadbc第二单元项目区分度不是考试内容2019/9/622三、区分度与难度的关系区分度与难度关系密切。如某一项目通过人数比率为1.00或0，说明难度P＝1.00或0，也说明高分组和低分组在通过率上没有差异，区分度D＝0。即太难、太易的项目区分度都差。如果通过率为50％，即难度为P＝0.50，则有可能高分组都通过，低分组通过0，那么区分度很大，鉴别指数为D＝1.00第二单元项目区分度2019/9/623D的最大值与项目难度的关系项目通过率D的最大值1.0000.900.200.800.400.700.600.600.800.501.000.400.800.300.600.200.400.100.20002019/9/624从上表可以发现，为了增大项目区分度，似乎应该使每个项目难度处于0.50水平，是这样吗？如果每一个项目难度为0.50，项目内容一致性提高，同质性增大。极端情况下，50％的人得满分，50％的人得0分。总分的区分能力反而低。所以，中等难度的项目之间0相关，区分度才能最高。第二单元项目区分度2019/9/625难度和区分度都是相对的。一般来说。较难的项目对高水平的被试区分度高；较易项目对低水平的被试区分度高；中等难度项目对中等水平的被试区分度高。总体上，特别难和特别易的项目少些，中等难度的项目多些，所有项目平均难度为0.50。即可以保证多数项目的区分度，也保证整个测验的区分能力。第二单元项目区分度2019/9/626记住了吗？1、难度是指项目的难易程度，用P代表，P值越大，难度越低吗？（yes）2、在200个学生中，答对某项目的人数为120人，该项目的难度是多少？0.63、P值越接近于0.50，区别力越高吗？Yes4、测验项目对被试的心理特性的区分能力，叫区分度，还叫什么？也叫鉴别力2019/9/627第五章心理测量学知识第一节概述第二节测验的常模第三节测验的信度第四节测验的效度第五节项目分析第六节测验编制的一般程序第七节心理测验的使用2019/9/628第六节测验编制的一般程序第一单元测验的目标分析第二单元测题的编写第三单元测验的编排和组织2019/9/629第一单元测验的目标分析2019/9/630第一单元测验的目标分析一、测验的对象编制测验前，首先明确要测量的对象。….在我国，农村、城市在文化教育上差异较大，编制测验、制定常模一定要考虑文化因素。龚耀先修订韦氏量表时，将长期生活、工作或学习在县属集镇以上的人口，称之为城镇人口，用城市式；长期生活、工作或学习于农村的称农村人口，用农村式。2019/9/631第一单元测验的目标分析二、测验的用途所编制的测验是对被试做描述，还是做诊断、选拔、预测，应该事先确定。一般来说，测验可以分为两类：显示性测验、预测性测验。2019/9/632第一单元测验的目标分析（一）显示性测验，是指测验题目和所要测量的心理特征相似的测验。如成就测验。古德纳夫把显示性测验分为：样本测验、标记测验。题目取自一个很明确的总体的测验就是样本测验。测量学生混合运算能力，从四则混合运算题目总体中选一组题目作为样本的测量。题目取自一个全开放的总体的测验就是标记测验。智力测验。如果测验成绩高的被试，实际上也很聪明，那么这个智力测验就是智力很好的标记。2019/9/633第一单元测验的目标分析（二）预测性测验：是指预测一些没被测量的行为的测验。对测验的兴趣，主要在于测验分数能在多大程度上预测行为。GRE中的词汇测验，不是对词汇感兴趣。而是用这个分数预测被试将来在大学的表现。注意：显示性测验和预测性测验，不是绝对的，有时是统一的。比如高考。题目来自教材，属于显示性测验的样本测验，考试分数可以预测大学的学习成绩，又是预测测验。2019/9/634三、测验的目标测验的目标是指，编制的测验是测什么的，即用来测量什么样的心理变量或行为特征。要明确测验的目标，还要对测验目标加以分析。将其转换成可操作的术语，这个过程叫目标分析过程。目标分析包括：工作分析、对特定概念下定义、确定测验具体内容。第一单元测验的目标分析2019/9/635工作分析：对于选拔和预测用的预测性测验，要对所预测的行为活动作具体分析。包括：（1）确定哪些心理特征和行为可以使要预测的活动达到成功，…进而确定题目；（2）建立衡量被试是否成功的标准，即效标。……对特定概念下定义：对所测的东西进行界定。比如，创造力的定义：有人定义为：发散思维的能力。据此创造力应该从反应的流畅性、灵活性、独创性、详尽性来测量。确定测验的具体内容：………第一单元测验的目标分析2019/9/636再看看，你会不会？1、什么是显示性测验？是指测验题目和所要测量的心理特征相似的测验。2、什么预测性测验？是指预测一些没被测量的行为的测验。3、什么是测验目标？编制的测验是测什么的，即用来测量什么样的心理变量或行为特征4、目标分析包括几部分？工作分析、对特定概念下定义、确定测验具体内容、2019/9/637第二单元测题的编写2019/9/638第二单元测题的编写一、搜集资料题目来源可以分为：（一）已出版的标准测验（二）理论和专家的经验（三）临床观察和记录2019/9/639二、命题的一般原则（一）内容方面：要求题目符合测验的目的，避免贪多；内容取样要有代表性；题目间内容相对独立。（二）文字方面：语言准确，简明扼要，一句话一个概念，意义明确。（三）理解方面：题目要有确切答案，内容可理解，题目格式不要引起误解。（四）社会敏感性方面：不要涉及性、自杀等敏感性问题。如果一定要涉及，鼓励被试真实作答的方法有：见书376。第二单元测题的编写2019/9/640三、测题的编制要领心理测验题目分类标准很多，常见的是根据对被试