3-3-教育测量与评价的质量特性-难度与区分度

教育测量与评价的质量特性第三节难度与区分度一、难度与难度系数的计算•概念–难度：被试完成题目或项目任务时遇到的困难程度–难度系数：定量刻画被试作答一个题目所遇到的困难程度的量数，叫做题目的难度系数，也常称为难度值，用符号P表示•计算方法–二值记分题的难度值计算答对该题目的人数被试人数–多值记分题的难度值计算某题的平均得分该题的满分练习•题1：在100个学生中，答对第一题的30人，答对第二题的60人，求第一、二道题的难度？比较这两道题谁比谁难？•题2：某道论述题满分12分，所有考生在这道题上的平均得分为3.6分，求该题的难度？•题3：语文测验第五题最高得分为12分，这道题考生的平均得分是8.5分，求该题难度？•题4：60人参加考试，某题满分为12分，正确得分累积是480分，求该题难度？–难度值的其他计算方法（1）以全体被试失分率为难度系数（2）以两端组被试得分率的均值为难度系数练习题5：某区域1000人参加考试，试卷第一题高分组180人答对，低分组60人答对，求该题难度？如果该题满分为10分，高分组得分总数为2100分，低分组得分总数为830分，求该题难度？二、难度指标的等距变换•运用标准分数（Z分数）作为题目难度的指标例：某校学生在一次测验中，第一题的答对率为15%，第二题的答对率为25%，第三题的答对率为35%，假定这三题所测量的能力近似正态分布，问第一、第二、第三题的难度差异怎么样？值越大，表示试题越难；值越小，表示试题难度越容易三、测验题目的恰当难度和恰当难度的分布•测验题目难度水平的确定–测验题目难度水平的适当与否，取决于测验的目的、性质和题目的形成。–当P值接近于0或接近于1时，即被试在该题上全部答对或全部答错，则该题无法提供个体的信息。而只当P值接近于0.50时，题目才能把被试做最大的程度的区分。–但在实际工作中，若每一题的难度值均为0.50，那么此测验很可能只能区分出好与差两种极端被试的差异，却不能对各种被试作更精确的区分。因此，一般各题的难度可在0.50+20之间。•测验难度对分数分布的影响–测验难度影响分数的分布形态。难度值越接近0，测验的难度就越大，测验分数就越是集中在低分端，其分数分布越呈现正偏态；反之，难度值越接近1.00，其难度就越小，测验分数越集中在高分端，分数分布呈负偏态。–测验难度影响测验分数的离散程度。测验难度过大过小，都会造成测验分数偏离正态分布，从而使分数的全距缩小，使测验分数的离散程度变小。–测验难度影响测验的鉴别能力。在测验中，考生之间相互配对比较的可能性越多，就越有利于准确地鉴别考生的不同能力。•难度的影响因素及其控制–主要因素：•考察知识点的多少；•考察能力的复杂程度或层次的高低；•考生对题目的熟悉态度；•命题的技巧。–难度控制：•正确估计考生水平；•弄清弄懂各知识点；•掌握命题技巧。第四节教育测量与评价中题目（项目）的区分度一、区分度的意义•题目区分度（Discrimination)就是题目区别被试水平能力的量度，常记为D。又叫鉴别力，它是评价试题质量，筛选试题的主要指标与依据；•区分度的取值范围介于-1.00—+1.00之间，值越大，区分度效果越佳；•区分度D0为正区分，D0为负区分，D=0为零区分。•区分度的高低直接影响到测验的信度和效度。思考：区分度与信度、难度有什么关系？假定试题的难度均为0.5区分度信度0.12250.160.200.300.400.500.000.420.630.840.9150.949要达到理想的测验信度，提高区分度是一个好办法难度区分度的最大值1.00.90.70.50.30.10.00.00.20.601.00.60.2000难度适中，可使区分度达到最大值二、区分度的计算•相关法–点双列相关系数通过该项目的被试的平均总分未通过该项目的被试的平均总分全体被试总分的标准差未通过该项目的被试人数占总人数的百分比通过该项目的被试人数占总人数的百分比例.某班15名学生参加一次测验的总分及第一题的得分情况如表3-10所示，计算第一题的区分度解需进行显著性检验，才能确定其是否具有显著性意义（1）对点双列相关公式中的和进行差异显著性检验，若差异显著，表明显著；（2）采用积差相关系数显著性检验的方法进行检验；（3）如果样本量较大（n50)，也可用下面近似方法：，认为在0.05水平上显著；，认为在0.01水平上显著。–二列相关系数•适用于两个变量都是正态连续变量，但其中一个变量因为某种原因被人为地分为两类。正态分布下百分比p与q分割点所在位置的曲线高度解：p=0.5333,查正态分布表，得Y=0.3975,于是：二列相关系数的显著性检验可用下列公式进行：被试总人数因为Z=1.79Z0.05=1.96,未达到显著性水平，所以该题的区分度值得怀疑–积差相关系数•对于非二分法记分的题目，因得分具有连续性，在被试团体较大时，可用认为题目分数服从正态分布全体被试在某题目上得分的标准差全体被试总分的标准差被试总分减去某题目得分而获得的一个新变量（D=X-Y)的方差例：有一测验向8名学生施测，其中两个题目的题分和测验总分如表3-11所示，请计算这两题的区分度。解积差相关系数的显著性检验方法（1）当样本容量n50时，采用正态分布检验；（2）当样本容量n50时，采用t分布检验；（3）直接查“积差相关系数(r)显著性临界值表•高低分组法高分组、低分组人数比例各占总人数的27%D代表项目鉴别度指数；PH、PL分别表示高分组和低分组在该题目上的得分率该题目的满分值–D值是鉴别题目测量有效性的指标，D值越高，题目越是有效；–适用于各种题分情况；–美国测验专家艾贝尔根据长期经验提出了用鉴别指数评价题目性能的标准第五节教育测量与评价方案的可用性一、科学性、公平性和可行性•科学性：测评的结果能准确地反映被测对象的真实情况，达到测量的目的，即测量要有较高的信度和效度•公平性：测量与评价方案对于任何一位被测量或评价的对象而言，有相同的机会获得好的成绩。•可行性：测量与评价方案的制订符合实际，并能被人们所理解和接受。二、针对性、区分性和简洁性•针对性（目标与目的）•区分性–避免“社会认可效应”例：“你是否觉得自己很难与孩子交流思想和感情”“许多家长说，他们觉得自己很难与孩子交流思想和感情，你认为这种情况是否真的存在？”简洁性例：“您班幼儿中，年龄较小者往往缺乏自信，而且动作能力低下吗？”“您是否反对在非学习日，包括周末和假日，不实行按时熄灯的规定？”—完—