试题编制技术与试卷质量分析

试题编制技术与试卷质量分析上海市真如中学吴长江一、试卷编制前的准备1、命题前的思考点2、命题设计的一般原则3、试卷编制的基本程序二、试卷编制的技术要点1、命题双向细目表设计2、几类典型题型编制要求3、命题预测的评价指标4、命题需要注意的几个问题三、试卷质量分析与评价1、考试结果的基本分析2、质量分析报告的撰写一、试卷编制前的准备命题容易又很难，一份好的命题更难。命题体会与考量：走钢丝的艺术；遗憾的艺术；人文素养的考验；科学素养的考验；教育测量技术。1、命题前的主要思考点思考准备：（1）明确考试的性质·诊断性考试知识与技能的掌握；常模参照考试·水平考试稳定的认知能力特质标准参照考试·学习能力考试潜在的学习能力和学术发展倾向标准参照考试·常模参照测验——是指以学生团体测验的平均成绩为参照标准，说明某一学生在团体中的相对位置，将学生分类排队。·标准参照考试——是指以体现教育教学目标的标准为准，看学生是否达到标准以及达成标准的程度。它主要不是用于比较个人之间的差异。智力测试会考测验规范负责的态度一定的文字功底丰富的知识储备多研究经典试题试卷常模参照考试和标准参照考试比较维度标准参照考试常模参照考试目的·确定每个学生是否达到课程目标规定的要求·确定每个学生在课程开始前后获得知识、技能、能力等的差异，或水平的差异·对学生在某一内容领域的知识、技能、能力等进行排队·区分高分和低分的学生内容·严格依照课程标准，要求有较好的覆盖面·以课标描述为难度依据，要有难度梯度，尤其是合格水平要求充分的表达·每种知识、技能等都表述为教育目标或课程目标·题目要有较好的区分度·由于时间有限可能放弃对覆盖面的要求试题特征·每个目标至少有四道试题，以获得适当的学生行为样本，并且最大程度地降低偶然因素效应·每道试题难度是平等的·测量每个目标的试题量一般小于4道·试题的难度是变化的·试题要有比较好的区分度分数解释·通常标定合格及其他等级水平·每个学生的成绩与预先设置的标准比较，与其他考生的表现无关·报告考生在每个测量目标方面的学习情况·考生成绩通常与其它考生成绩比较·分数通常以百分位分数，或其他标准分数表示·通常总体报告学生的水平而不分测量目标（2）把握考试对教学发展的导向性·反映课程改革的要求；·体现学科的特点；·引领学生学习。（3）掌握考试对象的特点与水平·学生学习与心理特点·阶段知识掌握的水平区分；·能力反映的特点。（4）考虑足够的内容抽样代表性·与备课组交流；·抽取好、中、差学生练习与试卷；·与不同层面的学生交流。（5）选择合适的试题结构·试卷内容组成；·试卷编排顺序；·试卷难易控制。2、命题设计的一般原则（1）命题的目的性；（2）内容的代表性；（3）格式的规范性；（4）表述的简明性；（5）答案的确定性；（6）题目的独立性；（7）创意的公平性；（8）测试的实效性。命题要全面考查学生课程目标的达成状况——立足全面性、注重代表性、体现导向性；考察内容的均衡性；适度的题量与难度；恰当的题型结构；适度的自主性和开放性；试题呈现方式的多样化。在此基础上，综合体现：基础性原则、发展性原则、科学性原则、时代性原则、开放性原则、规范性原则。3、试卷编制的基本程序（1）拟定命题计划·各种题型的题量及分数分配；·各项考试内容的题量及分数分配；·能力考查的重点及各能力层次的分配；·考试难度及各类难度比例。（2）（根据命题计划）编制双向细目表·确定考试内容要目；·确定考试目标层次；·确定考试要目下的权重；·试题难度预估。（3）（根据双向细目表）编制试题并组卷·题型的选择与安排（先按题型，再按难度）；·试题的难度控制与预估（整卷难度与分题难度，有序层进）；·对试题区分度的把握；·开放（或探究）试题形式与内容的探索；·一些重要的内容及方向定位（如写作题）；·答案与评分标准的制定。（4）试测并修订·在保密中选取典型非我校学生进行试测；·根据试测情况分析分调整命题；·专家审卷；·修正并定稿。二、试卷编制的技术要点1、命题双向细目表设计目的——设计试卷的蓝图，使命题者明确测验的目标，把握试题的比例与分量，提高命题的效率和质量。内容——考查的范围、具体知识点、测试目标、题型、分值分布、难度分布。操作——确定试卷要考查的目标；明确要考查的知识内容（知识点）；根据考查目标和知识的重要程序给予不同的比重；合理安排好各部分权重，编制出双向细目表。范例1测验目标知道理解运用分析与综合探究合计测验内容内容范围Ⅰ11397232内容范围Ⅱ3565221内容范围Ⅲ1534215内容范围Ⅳ34815内容范围Ⅴ1626217合计63224308100范例2命题双向细目表考试内容（内容块）选择题简答题证明题应用题分析题合计识记理解…识记理解…分析综合…应用…应用分析综合创造内容12305050015内容20334030215内容308213900335内容404215906535合计218717188010100范例3试卷组合双向细目表题号分数能力题型难度系数内容记忆理解分析综合其他判断选择填空计算问答其他1第一章第四节1230.62第三章第二节1120.73第七章第一节330.64第一章第四节330.7…………………………………小计8311加权难度系数总计1001000.62加权难度分数计算公式：X＝ffffxfxfxkkk......212211＝kiikiiiffx11f1，f2….fk为权注意：能力各栏目分数合计和题型各栏目分数合计均应为100（或150）分。2、几类典型题型的编制要求（1）测试题型的分类客观性试题与主观性试题比较客观题（封闭式）主观题（开放式）信度较高较低效度较低较高覆盖面较宽较窄陈述性知识较适宜较不适宜程序性知识较不适宜较适宜猜测可能性测验时较大测验前较大常模的建立较易较难题型客观题（封闭式）主观题（开放式）选择题提供型是非题配对题选择题填空题改错题名词解释题简答题计算题证明题论述题写作题设计题翻译题（2）选择题的编制选择题的编制题型特征适用范围编制要领由一个“题干”和若干“选项”所构成。题干可用不完全陈述或疑问句表示，用于实现一个问题情境；选项，由一个正确或最佳答案和几个似真的错误诱答项或非最佳答案项组成。适合用文字、数字和图形等不同材料编题，可考查记忆、理解、应用、推理、判断、比较、分析等多种能力。该类题有多种形式，如配伍式、比较式、因果式、组合式、类推式等，其测量功能各有侧重。题干设问明确，表述简要，且尽量创设新情境；各选项的内容和形式要相互对等，数目尽量一致，且用词勿重复；正确项随机定位，且似真非真；干扰项似假非假，保证适度干扰性；每题仅有一个测试中心，且各题相互独立，避免链式。编制选择题的注意要点·每题仅围绕一个测试中心·题意完整，表述简明·避免提供解题线索·题干应尽量创设新的情境·题干尽量以正面方式叙述·各选项语词切勿重复·选项只间不应相叠·干扰项诱答须似是而非·各题彼此独立，避免链式·忌用“以上皆对”、“以上皆错”选项·选项数尽量一致，形式大体相同·正确项目须随机排位（3）填空题的编制题型特征适用范围编制要领提供一个完整的陈述，要求被试把缺少的结论填上，全题可留1－2处空格，且多置于句中和句尾。适宜测量词组知识、名称或日期、对概念的简单理解及记忆，解决数量问题的能力等。属于“回忆性”测量。留空处须是关键字词，且与上下文联系密切；空格不宜太多；避免直接引用教科书原句；准备一个正确答案和可接受的变式的标准。（4）简答题的编制题型特征适用范围编制要领由一个问句或陈述句构成，要求学生作答时提供适当的字词、短语、符号、观点及结论等。适宜测量记忆及简单理解。可考查术语知识、特定事实知识、原则的知识、方法和程序的知识；还可考查简单解释资料或使用数字符号的技能。答案唯一，且简单具体，尽量采用疑问句出题；应测学科知识的重要概念；不可按书原文抄题；说明答题要求，无需论述、论证；需以数字作答的，应说明表示单位。（5）论述题的编制题型特征适用范围编制要领是一种要求被试根据题目自己立意、选材、组织与表达。它属于自由反应型试题，包括论述题和作文题。适合测量综合运用知识的能力、组织材料能力和文字表达能力，甚至考核评价能力和创造能力。可以了解学生对问题的理解深度和思考过程明确规定作答范围和方法，避免题意空泛、笼统；设置新情境，让学生应用知识解决新问题；题目数量需适度；不给被试提供选答试题机会；备用数个“理想”答案，评分标准具体，易操作。（6）应用题的编制题型特征适用范围编制要领叙述一个具体的情境并给出一些有关的数据或资料，让被试解决所提出的问题。适合测量计算技能、数学和科学推理，以及运用知识到新情境中的能力。该类题常用于数学和自然科学领域的测验。解题说明清楚、完整；题目中应含解题所需的一切条件；题目内容应采用新情境材料；各测题答案间互相独立；文字简明。（7）开放性试题的编制开放性试题的命制·条件开放型、过程开放型、结论开放型以及这三种题型的综合形式。·这些形式还可以进一步细分，如在答案开放型中，可以再分为理论运用（知识视角）开放、论据素材（佐证事例）开放、表达方式开放和评分要求开放等。在各个学科中，其具体表现形式有所不同。方法与策略①可选择作答：学生可以选择部分试题或一个试题中的若干小问题作答，增加答题的可选择性，有利于发挥学生的优势智能，表现学生的个性和特长。②陈题新用：对传统试题进行改造，省略去其中的部分条件，或对问题提出不同的解决方向，或要求用尽可能的角度解决问题。③从生活素材入手：选取社会热点、生活焦点和学生生活经验作为素材来设计问题，引导学生运用所学知识独立地解决生活问题。④设置黑箱：将一个事物产生、发展过程和最终结果中的过程隐藏起来，即制造一个黑箱，让学生发挥想象力，提示黑箱的内幕。⑤假设情景条件：在一定条件下假设某种情景，探求事物的发展状态；或给出某种确定的情景，探求由于条件的变化，可能引起什么样的反应。⑥例举事实：给出一定的规律或原理，要求学生搜集与之相关的现象或事实，证明这一理论。⑦学生自编自答：在一定背景之下，让学生根据试题提供的素材，自己提出问题，并分析解决问题。⑧超越课本知识：超越课本中的字面内容，挖掘隐藏一于文字背后的思想，考核学生的科学精神与人文思想。⑨巧用设问：调整问题的设问指向，引导学生摆脱传统的思维方向，寻找新的考虑问题的角度。⑩引导推理：给出一定的材料或条件，让学生自主推导出可能产生的结果，或者给出一定的结果，让学生反向推导出它所需要的条件。⑪补充材料或结果：给出不完整的材料或事物进程，通过学生自主想象，补充材料或推测结果。⑫调整评分要求：评分要点充分考虑到学生答题的各种可能性；对于某些有创意的答案或要点，应该加以加分奖励，等等。（8）主观题命题评分的基本要求·不要逼着或诱导学生说假话是最起码的要求；·给定标准答案，以命题者之心度学生之腹的题出了还不如不出；·主观题发挥学生的创造性，有一定开放性并不表明可以题可以随便出，答案可以随便写，清晰的评分标准是必要的；·如果测量的行为目标能够用客观题来测，就尽量不要用主观题；·挑选的材料应该与学生学习经历过的材料有类似性或是全新的材料；·应该用清晰，明确的语言表述背景材料和问题；·对材料分析题而言，设计试题应该要求学生对材料进行分析和解释；·设计的试题数应该与背景材料的长度相匹配；·对试题的赋分应该合理；·对每个问题给恰当的时间完成。3、命题预测的评价指标（1）难度控制·定义：学生完成题目和项目任务时所遇到的困难程度。难度值以P表示。公式1：通过率P＝NR,R表示答对某题的人数，N表示测试的总人数。公式2：得分率P＝WX，X表示某题的平均分，W表示某题总分。·注意：通常对客观题计算难度时选择公式1；通常对主观题计算难度时选择公式2。全卷难度用加权难度平均数公式计算。P全＝ffffpfpfpkkk.......212211＝kiikiiiffp11其中fi分别为pi的权数i＝1、2…K。·高考难度要求：全卷难度0.5~0.6；试题难度0.3~0.7，接近正态分布；易：中：难＝