第十一章教育测量的质量指标xin

第十一章测量的种类及其质量分析第一节教育测量的种类根据测量的目标分类：智力测量、成绩测量、品德状况测量、人格特征测量、能力倾向测量。根据测量的方式分类：个别测量、团体测量根据测量的材料分：文字测量和非文字测量根据测量的来源分：标准化测量、教师自编测量根据参照标准分：常模参照测量、标准参照测量第二节测量的信度一、信度的概念信度是指测验结果的一直性或可靠性的程度信度可以理解为：（一）实测值和真值相差的程度X=T+E(二）两次重复测量或等值测量之间的关联程度二、信度的估计方法（一）稳定性系数（重测信度）指用同一试卷对相同被试者在不同时间测验两次的实得分数的相关系数例：用某量表测验１０个学生，得分记为Ｘ。为了考察测量结果的可靠性，于１５天后用原量表对这１０个学生重测一次，得分记为Ｙ。问测验结果是否可靠？（二）等值性系数（复本信度）等值性系数是估计测验间跨形式的一致性指标，是以两个等值（题型、题数、难度、区分度相同）但具体内容不同的量表，在最短时间内，对相同应试者先后施测两次测验所获得的两组对应分数的相关系数。（三）内部一致性系数（同质性信度）是估计测验内部跨测题的一致性指标，是同一测验试卷的两个部分得分的相关系数计算方法有两种：１.分半信度是把一次测验按题目番号分为两半，一半是奇数题，一半是偶数题，计算两部分的相关系数，最后用斯皮尔曼－布朗公式校正２.库德尔－理查森公式法（１）rKR20的用法：这个公式以每题能正确回答的人数占总人数的百分数为基础计算rKR20为整个测验结果的信度系数，Ｋ为测验题目数，Ｐ为各题正确反应人数占总人数的百分数；Ｑ为个题错误反应人数占占总人数的百分数，Ｓ２为应试者总分的方差例：有一种包含６个问题的测验，１０个应试者得分如下，试估计应试者反应的一致性程度计算内部一致性系数要注意的问题：（1）若用分半法时，以按奇数题和偶数题分为两半为宜。（2）若速率是测验的重要因素，则不宜用分半法。（3）若答案多种，得分多样，不宜用上边的公式计算。3、论文式测验的信度系数4、评分者信度计算方法肯德尔和谐系数)(12132nnKssrRw公式为：三、影响信度的因素（一）测验的长度一般来说，测验越长，信度值越高。这是因为：①测验加长，可能改进项目取样的代表性，从而能更好地反映受测者的真实水平；②测验的项目越多，在每个项目上的随机误差就可以互相抵消。（三）测验的难度测验的难度与信度没有直接对应关系，但是当测验太难或太易时，则分数的范围就会缩小，从而降低信度。（三）测验内容的同质性（四）被试者差异（五）评分的客观性四、提高测验信度的方法1.适当增加测验题目的数量2.测验的难度要适中3.测验的内容要尽量同质4.测验的程序应统一5.测验的时间要充分6.评分要客观第三节效度一、效度的概念效度是量表能实际测量出其所要测量的特性或功能的程度。效度可从以下几方面理解：第一，测量的效度始终是对一定的测量目的而言的。第二，测量的效度是对测量结果而言的第三，测量的效度只是高低问题第四，在教育测量中，测量效度显得更为重要信度和效度的关系:信度是效度的必要非充分条件一个测验的效度不会超过它的信度的平方根二、效度的类别和估计方法效度的种类内容效度结构效度效标关联效度测验题目样本对于应测内容与行为领域的代表性程度侧重于测验题目取样的代表性，考查这些题目对所欲测量的内容和行为反应测量的有效程度结构：心理学或社会学上的一种理论构想或特质侧重于一个测验能够测量到心理学和教学理论上的抽象概念或特质的程度效标：检验测验效度的参照标准，实际上是本测验所想测量或要预测的特性或功能测验分数与作为效标的另一独立测验结果之间的一致性程度（一）内容效度的概念和估计方法1.内容效度的概念测验试题对欲测验内容或行为目标的代表性程度2.内容效度的验证方法逻辑分析法统计分析法（定量的方法）逻辑分析法（定性的方法）依靠有关专家对测验题目与应测内容范围的吻合程度作出判断对每一道题目逐一进行审查，以此形成“题目双向细目表”与“命题双向细目表”加以对照，以确定试卷的效度统计分析法（定量的方法）克龙巴赫法（两套测验试题，对相同被试实施测试后，计算得分的相关系数）评分一致性考查法（不同评分者之间评分的一致性程度，即考查评分者信度）前后测对比法（根据前后两次测验的差异显著性，确定测验的内容效度）（二）、构想效度及其验证方法1.结构效度的概念测验对于人的假设属性或理论概念测量到的程度这些假设属性或理论概念是决定人们外部行为的内隐或潜在的特性2.结构效度的建立过程①对所欲测量的属性根据某种理论提出假定的结构②根据假定的结构拟定测试题，编制测验③寻求测验分数与其它评定之间的关系④以测验结果为根据来验证假设结构中的各种因素是否成立，验证的方法可以从差异性上寻求证据⑤将与假设结构相违背的测试题删去，对测验进行修改之后，再重新实施第③和第④个步骤结构效度建立的示例建立理论框架从理论框架出发，提出各种假设根据假设编制测验以逻辑及实证的方法，检验结果是否符合心理学的理论框架及其假设比如：中学生数学能力的研究数学能力由分析能力、综合能力、归纳和演绎能力、运算能力、空间想象能力构成；数学能力与早期教育有关；数学能力与智力正相关。编制测验，施测并收集测验结果分析测验结果，考查测试的结构效度，考查测验结果是否支持理论构想（三）、效标关联效度及其验证方法1.效标关联效度的验证方法效标关联效度是指测验分数与作为效标的另一独立测验结果之间的一致性程度，即推断某测验所得分数与同类标准测验所得分数的相关程度。效标关联效度（criterion-relatedvalidity）的验证方法是指一个测验对于处于特定情境中的个体行为进行预测时的有效性。效标：检验测验效度的外在的、客观的标准，即效度的标准.效标是足以显示测验所欲测量的或要测量的特性的变量。分类：同时效度：测验分数与效标资料的取得约在同一时间内连续完成，这两种资料的相关系数即为同时效度预测效度：在测验分数取得一段时间后，才获得效标资料,计算这两种资料间的相关系数即代表测验的预测效度。效标关联效度的估计方法相关法直接计算测验分数与效标分数的相关系数积差相关、等级相关、二列相关等显著差异法根据效标测量将被试分为两个极端组，检验这两个组测验分数是否具有统计学上的差异显著性命中率当测验用作取舍决策时，常使用命中率相关概念：总命中率、正命中率、负命中率总命中率高，则测试的效度高例：70人参加的考试，通过测验选取了50人，淘汰了20人；选出的人中有40人合格，淘汰的人中有8人不合格。该测验的总命中率、正命中率和负命中率分别是多少？第四节项目的难度一、难度的含义难度是指测验项目的难易程度刻画被试作答一个题目所遇到的困难程度的量数，叫做题目的难度系数，用符号P表示在教育测量中，P＝正确回答试题的人数R/参加测验的总人数N二、难度的计算客观试题（二分法记分）：P＝R/NR：答对该题的人数；N：参加测验的总人数主观题难度计算P=XK教育测量与评价中题目（项目）的难度二、难度的计算客观题的极端分组法根据测验分数按高低排序，用两个极端组（高分、低分）在某项目上的平均通过率表示项目的难度步骤：按测验总分由高到低排序从高分段向下选出全部试卷的27％作为高分组从低分段向上选出全部试卷的27％作为低分组按照上述公式计算项目难度值例：100人参加某测验，高分组与低分组各取27人，其中第一题高分组20人答对，低分组10人答对。这道题的难度系数是多少？2LHPPP教育测量与评价中题目（项目）的难度二、难度的计算主观题的极端分组法公式：步骤按测验总分依次排序，确定比例各为25％的高分组和低分组为高分组、低分组分别编制每题得分的分析表（试题分析表）用上述难度公式计算难度值)(2)2(LHNNLXXPLH教育测量与评价中题目（项目）的难度公式的含义：XH：高分组所得总分；XL：低分组所得总分；H：该题最高分；L：该题最低分；N：考生总人数的25％)(2)2(LHNNLXXPLH41040400521051578567642854088641000低分组1010100高分组XffxXffx试题分析表例：100名学生参加论文式测验，按高、低分各占总人数的25％分组，其中第6题的得分统计表如下所示。求该题目的难度。教育测量与评价中题目（项目）的难度难度指出的仅仅是题目的相对难度，不能客观地指出题目难度之间差异大小一般情况下，测验分数呈正态分布教育测量与评价中题目（项目）的难度三、难度对测验的影响难度对测验分数分布的影响过易、过难会造成测验分数偏离正态分布，使测验分数离散程度变小难度对测验鉴别力的影响测验的主要功效是鉴别考生实际水平的高低适宜难度可以加大考生得分的差异，从而提高测验的鉴别力项目难度的适宜值为0.5左右时，测验得分的方差才可达最大值难度与测验目的的关系项目难度应根据测验目的来确定常模参照评价：区分学生能力或成就的高低标准参照评价：了解学生达到教学目标规定的掌握程度教育测量与评价中题目（项目）的区分度一、区分度的概念区分度是测验对被试实际水平的区分程度通常用D表示，取值范围为＋1.00至－1.00D越高时，试题的质量越好D为正时，试题积极区分D为负时，试题消极区分教育测量与评价中题目（项目）的区分度二、区分度计算方法极端分组法客观性试题区分度的计算公式：D＝PH－PL按测验总分从高到低排序确定测验总分最高的27％的被试作为高分组，最低的27％的被试为低分组分别求出这两组被试通过试题的百分比将算得的有关数据带入上公式主观性试题区分度的计算公式：说明：XH：高分组所得总分；XL：低分组所得总分；H：该题最高分；L：该题最低分；N：考生人数（总人数的25％）步骤：按测验总分由高到低排序；分别确定测验总分的25％、25％作为高低分组；列出试题分析表；将数据带入以上公式加以计算)(LHNXXDLH教育测量与评价中题目（项目）的区分度例：100名考生参加主观性试题测验，按高、低分各占人数的25％分组，其中第四题试题分析表如下所示，求该题目的区分度。)(LHNXXDLH41040428653063188648843210440106601200低分组1210120高分组XffxXffx试题分析表教育测量与评价中题目（项目）的区分度三、区分度计算方法相关法考虑中间数据以项目分数与效标分数的相关作为项目区分度的指标（效标分数不易得到时，以测验总分代替）相关越高，区分能力越好具体方法：积差相关法点二列相关二列相关Φ相关积差相关法计算区分度非二分法记分的项目，可将题目得分与测验总分求积差相关系数以得到题目的区分度22YYXXYYXXriiiixy积差相关的另一计算公式：YXDYXxySSSSSr2222Sx为全体被试在某道题目上得分的标准差；Sy为全体被试总分的标准差；SD是由被试总分减去某题目得分而得到的新变量的方差点二列相关计算区分度测验的一个变量是连续变量，另一个变量是二分变量时，要用点二列相关系数表示某项目的区分度pqSXXrtqppb公式的说明：p为答对某题人数占全体人数的比例q为答错此题人数所占全体人数的比例（q＝1-p）St为全体考生的标准差生1234567891011121314151617181920总8652947265227683807576736291477481886258题1001100111101101100020个学生参加语文测验，总分与某一个选择题的得分情况如下表。计算该选择题的区分度。二列相关计算区分度测验总分与项目分数均为连续变量，其中一个被人为地分成两个类别，YpqSXXrtqpb公式的说明：p为二分变量中