命题和试题质量分析

GuangzhouUniversity2006命题和试题质量分析教师培训讲座2006年9月25日2目录难度区分度信度效度3某考试，共有四道题，5名考生得分如下。假设这次考试只有这五名考生，求各题的难度、整卷难度及难度分布%。考生编号题1题2题3题4总分满分11010295011411925209528423163182841511320511052642难度0.80.680.30.724一、难度（一）含义：难度指试题的难易程度。问题：试题1的难度系数为0.86，试题2的为0.41。哪份试题更难些？结论：难度系数越大，试题越容易；难度系数越小，试题越难。5（二）难度系数的计算kXP＝0.35135110题30.72261318281929题44210150.68569410题220140.8难度281342022511501满分总分题1考生编号61、题分难度计算：A）“1、0”记分题：P=通过人数/全体人数B）非“1、0”记分题：P=平均分/该题满分2、整卷难度计算：方法1：P=平均分/整卷满分方法2：P=各题难度系数加权后的平均数（这里的权数：各题的满分值）7（三）试题难度的评价：P≥0.9－－－－很易0.71≤P≤0.89－－－－偏易0.30≤P≤0.70－－－－适中0.11≤P≤0.29－－－－偏难P≤0.10－－－－很难8（四）试题难度系数多大才适宜1、理论上，大部分试题的难度系数P在0.5左右为宜。为什么？因为P=0.5时方差最大，而方差最大时试题的鉴别力最大。(方差=p×q=0.5×0.5=0.25)92、考虑考试目的1)学科考试（如期末考），取P=0.5左右为宜2)选拔类考试（如中考），录取率为多少，难度系数也相应取多少。如：某次考试要从1000名考生录取200名，录取率为0.2，则要求试题的难度系数尽量达到0.2左右。3)诊断分类考试（如高中毕业考——目的是鉴别毕业生），因对区分度要求不高，所以要根据诊断要求具体确定难度系数。对这类考试，可取难度系数为0.80，甚至更大值。103、还要考虑到考生的实际情况1）若不同层次考生差异性太大，特别是其中的弱势群体人数较多时，考虑到教育公平，试题难度应偏易。2）要考虑考生学习信心和兴趣，及参与测试的信心，试题难度可稍偏易。11（五）未考试，如何判定试题的难度1、根据以往考试的同质性题目的难度判定。2、根据考试的目的、性质、内容及双向细目表的要求进行质的分析。3、挑选典型题目组成微型试题，进行正式考试前的预备性测试，通过量的统计分析以确定试题的难度。12目录难度区分度信度效度13二、区分度某次语文统考，5名考生得分如下。假设这次考试只有这五名考生，求各题的区分度。考生编号题1题2语文科总分六科CEEB标准分总分满分11050最高分90010425300219428683162841341520420511042639区分度14二、区分度（一）含义：区分度是试题(或试题中的某小题)区分出学生能力水平差异的程度。水平高者，成绩好；水平低者，成绩差。则区分度高。反之，则区分度低。ABC化学总分化学题3化学总分化学题1化学总分化学题2以上A、B、C三图哪道题区分度较好？15****计算区分度时应考虑哪些问题？****A、计算区分度，必须对两列变量作分析。计算两列变量的相关系数，即可得到区分度B、要计算“某一题”的区分度，必须找到该题的参照变量——能衡量学生水平高低的变量。本题可考虑把“化学总分”作是“化学卷某一题”的参照变量。C、若区分度较高，则表示：水平高者，则该题得分高；水平低者该题得分低。这里将“化学总分”作为衡量学生水平高低的指标。16（二）计算：1、相关法：某题区分度＝该题得分与总分的相关系数ΣyxiiXYSSNY－YX－X　　　＝r**))((172、高低分组法：高分组：参照变量成绩排前27%考生PH——高分组得分率：=高分组平均分/该题满分低分组：参照变量成绩排后27%考生PL——低分组得分率：低分组平均分/该题满分D=PH-PL18（三）区分度多大,才算一份好试题：1、原则：区分度越大，测题越好2、评价区分度的标准：D≥0.40区分度很好0.30≤D＜0.40区分度良可0.20≤D＜0.30区分度尚可，但要修改D＜0.20区分度差，必须淘汰19（四）区分度的运用1、挑选典型题目组成微型试题，在正式考试前的进行预备性测试，计算出每题的区分度，为正式命题提供依据。预备性测试中区分度差的题目，正式命题时应放弃类似题目。预备性测试中区分度尚可的题目，正式命题时若要设计类似题目，则要修改。可见，区分度是试卷编造过程中筛选测题的主要依据。202、通常情况下，区分度分析主要用于单一测题的分析，整份卷的区分度较难分析。原因是难以找到衡量被试该能力水平的变量。将一份试卷中所有题目的区分度简单平均以计算整份试卷的区分度，此做法缺乏科学依据。将一份试卷中所有题目的区分度进行加权平均以计算整份试卷的区分度，此做法亦缺乏科学依据。21三、信度某考试，数学科共有三道大题，5名考生得分如下。假设这次考试只有这五名考生，求数学试题的信度。考生编号第一大题第二大题第三大题总分满分10103050141192529528423631828451132051052642方差22目录难度区分度信度效度23三、信度问：某人很可信。这里“可信”是什么意思？答：前面许下承诺，后面能坚守承诺，说到做到做人稳定性、一致性强。（一）含义：经过多次测试，所得结果的一致性程度(假定多次测试期间，被试没发生任何变化）24（二）信度的分类●重测信度：用同一份试题对同一组考生考两次，所得结果的一致性程度。（假定：该组考生在两次考试期间内不会发生任何变化）●复本信度：指将两份程度相同的试题分别对同一组考生进行考试，所得结果的一致性程度。重测信度与复本信度在实际中实施的可能性较低，一次考试就能计得的内部一致性信度内部一致性信度：把一次考试人为地分为两个部分，比较两个部分的一致性程度。25（三）内部一致性信度的计算5135110第二大题261318281930第三大题42105569410第一大题204方差28342225150满分总分考生编号)1(122TiS　　S－k－kα=Σ26（四）对试题信度的要求如果是标准测试量表，则要求α≥0.80；如果是自制试题，则要求α≥0.60。27（五）影响信度的因素1、是否同质性测题。计算内部一致性信度时，所分析的多个测题必须是同质性的。若不是同质性题目，则会降低信度。2、测题的数量题数越多，信度越高；3、测试环境。若考试前半段与后半段的环境差异大，则会降低信度。284、样本量大小。在其它条件均相同的情况下，样本量越大，信度越高。5、考生：考生在考试过程中焦虑、疲劳或注意力分散。6、测题难度：一般来说，测题难度越大，信度会越低。29（六）如何提高考试的信度1、适当增加考试题目的数量2、进行信度分析的测题应尽量同质3、试题的难度要适中4、考试的程序应统一5、给考生提供良好的考试环境。6、抽取的样本数应达到要求。30目录难度区分度信度效度31四、效度问：某人工作很有效。何谓“有效”？答：他的工作成果能很好达到预期的目的和要求。（一）效度的含义测量结果达到测量目的的程度32（二）效度的分类内容效度：所测试的内容达到预期目的程度。——运用定性分析法来估计内容效度。结构效度：测验结果对于人的假设属性或理论概念测量到的程度。——运用因素分析法来估计结构效度。效标关联效度：考试得分与效标之间相关程度。——运用相关分析法来计算效标关联效度。效标：反映被试真实水平的变量33（三）对效度高低的要求不同的考试对效度系数有不同的要求对于一般考试，效度应达到0.40。对效度系数大小的要求，也受效标的影响。若该考试结果与效标之间相似性较差，对效度系数只要求达到0.30以上即可；若该考试结果与效标之间相似性较高，则要求达到0.60以上。34（四）计算效度的方法1、对于内容效度，通常使用定性分析法在编写考试试题或选择试题之前，应确定考试目标、构建整个考试的指标体系，形成考试内容系统。以该内容体系为标准，进行编写试题。试题制定好后，分析试题包含的知识点和能力结构，与编制试题前参考的内容体系进行对比。▲若二者相符，则内容效度较高；▲反之若二者不相符，则效度较低，还须对试题作进一步的修订。352、对于效标关联效度，一般使用相关分析法a）将考试得分与效标作相关分析。b）若相关性显著，则说明效度较高；反之，则较低。36Q1：发现问题的能力Q2：判断他人的能力Q3：作出决定的能力Q4：建立团体一致的能力Q5：帮助他人作决定的能力Q6：与团队协同工作的能力3、对于结构效度,通常使用因子分析法来估计例：教学研究人员的能力,共包括6种能力:问：理论上这六种能力可划分哪两个系列?这是理论上分析得到的能力结构，但与实际测量的数据中所反映的能力结构是否相符？37RotatedComponentMatrixa.832.877.945.928.949.920发现问题的能力监督他人的能力作出决定的能力建立团体一致的能力帮助他人作决定的能力与团队协同工作的能力12ComponentExtractionMethod:PrincipalComponentAnalysis.RotationMethod:VarimaxwithKaiserNormalization.Rotationconvergedin3iterations.a.实际测量的数据分析结果负荷量公因子每个变量与其所属公因子之间的相关程度38（五）如何提高效度编制测题之前应设计命题计划—双向细目表1、命题计划是设计测题的蓝图。它能使命题工作避免盲目性而具有计划性，使测题的内容更完善地反映考试目标，有利于提高考试的效度。2、命题计划往往要通过双向细目表反映出来。双向细目表：包括有两个维度的表格，其中一维是考试内容，主要指考试内容的各章节；另一维是考试目标，考试目标一般以布卢姆的认知目标体系为基础，包括有：知识、理解、应用、分析综合、创见（评价）39双向细目表示范1：知识理解应用分析与综合创见与评价合计代数实数6/易7/易6/中10/易…………整数………………………………………………几何相交、平行…………三角形…………………………合计………………………………中间部分填写：1、各考试内容所考核的各个认知目标上的占分2、难度40双向细目表示范2：选择题简答题应用题分析题创新题合计知识理解知识知识理解应用分析与综合创见与评价合计代数实数6/易9/易4/易6/易7/易6/中10/易…………整数…………………………………………………………………………几何相交……………………三角………………………………………………合计………………………………………………中间部分填写：1、各考试内容所考核的各个认知目标上的占分2、难度413、要保证试题的内容效度，具体从以下五步进行命题1）列出课程的主要教学内容和教学目标。可参考课程教学大纲来拟定。2）根据各部分教学内容和教学目标的重要程度，确定它们在测试内容上所占的比例。主要考量以下问题：a)各知识单元在整个学习领域的重要程度如何？b)分配给各知识单元的教学时数比重如何？c)哪些知识单元对未来学习的价值较大些？－－一般参照教学大纲来确定。3）编写出命题双向细目表。包括考试内容和考试目标的两个维度的表格。4）根据双向细目表正式命题。5）试题编制好后，对其内容进行分析，将试题分析结果与双向细目表对照，二者吻合度高，则试题内容效度较高。42第三部分海外考试的试题质量控制介绍一、将部分题目设计为“信度题”。如台湾的社会科和自然科的试题中的第一卷或第二卷中有12小题为“试题研究”题目，这些题目被穿插在试卷各小题中间，考生考前不被告知，对每道必须花同等努力去完成。43而美国和即将实施的新加坡所采用的SAT考试，考试内容被划分七个部分，其中六个部分分别为语文或数学，分数计入总分，另一部分可能是语文，亦可能是数学，分数不计总分，