搜索
第八章测验的编制与使用53p内容提要测验编制的一般程序测验的实施计分与分数解释一、测验编制的一般程序测验的界定制定编题计划编制题目项目的试测和分析合成测验测验的标准化测验的修正与鉴定编写测验手册第一步：测验的界定测量对象：什么人，儿童/成人，测量目标：什么内容，心理变量/行为如：成就、智力、人格测量用途：诊断/预测常模参照测验/标准参照测验第一步：测验的界定（续）建构测验的理论依据：基于逻辑或内容：考虑行为的领域范围并进行相应的度量（如教育测验）基于理论：根据一种理论编写出能够反映理论构想的题目（如Myers-BriggsTypeIndicator或MBTI基于容格的类型论）基于外部效标：选择那些能够将个体或群体做出区分的题目（如MMPI，CPI，罗夏墨迹测验等）。。基于经验第二步：制定编题计划总体设计，指出测验内容结构和项目形式及相对重要程度如：双向细目表（编制成就测验）一种标明测验所包含的内容和要测定的技能（构想）以及每一个内容、技能的相对重要程度的表格。可能是多向的，不限于双向。要目标明确内容（主题）准备编题施测记分题目分析术语工作分析，匹配题；反应晕轮效应记分键效标，内部一致关键事件心向，多项选择主被试关系合成分数性，测验同质性有代表性（5）（2）机器记分（3）样本（3）（3）特殊教育目标客观题与论述影响测验成绩主客观题决定题目效度的知识的分类题的长短处的因素的记分规则方法，题目分析（2）（4）（3）（3）的目的（3）理解解释制定（0）（0）题目权重对解释P和D的关系测验计划的目的总分的影响（1）（2）（1）应用对某个单元多项选择测量测验指导语猜测的校正，难度和区分度编制一个具理解、应用、（2）置信加权，指标计算，错误体说明分析、综合和（4）选项的分布（1）评价能力的例子（4）（4）总计81371111第三步：编制题目搜集资料代表性、普遍性选择形式文字/非言语客观/论述纸笔/操作编写和修订题目测验题目的编制技术命题的一般原则：范围，代表性，难度，数量，简明不同题型的编写规则分类1：选择题/是非题/匹配题/填空和简答题/论述题应用题/操作题/联想题/排列题/改错题分类2：全开放型/开放—单一反应型/多重选择/双级等级评定利克特型/排序/投射/绩效项目/分类信息编题举例1：多择一题型Do…使用一个直接的问题或一个不完整的陈述作为题干选项或题目在语法和形式上保持一致尽量使所有错误选项看起来是可能的Don’t…否定性题目，尤其是在题干是否定性的（双重否定）使用技术上的行话反应之间相互重叠使用“以上所有”例2：主观题——人格是非题我喜欢去干有冒险性的工作利克特评定量表：5点或7点评定朋友们通常把我看成是一个潇洒的人使用特殊符号用于态度调查你对XXX电视节目有什么看法？23451很不象我非常象我例3：主观态度调查题目的编写规则Do…使用现在时态避免模糊与歧义使用简单明确的语言语句尽量短选择各种陈述以覆盖所有感兴趣的内容Don’t…询问事实使用每个人都会赞同或不同意的陈述使用“如果可能”使用双重否定使用全称命题（所有…)分析：这些题有什么毛病？当上级布置任务时，不是说不能接受的。我不相信我们的所有法律对公民都是有益的。如果你去问的话，人们不会告诉你他们大多数时间都在想什么。有多少人居住在香港？A超过三百万B超过四百万C超过五百万D超过六百万小结：题目编写应用理论指导你的题目编写，不是只靠与外部效标的相关简明扼要-明确的指导语，简明的语言校对你的题目对可能的混淆有所预期考虑疲劳/厌倦因素考虑短时记忆的限制第四步：项目的试测和分析试测注意：对象代表性过程、情境相似时限稍宽随时记录被试反应题目分析测验由题目构成。题目的质量决定了测验的质量。题目分析可以帮助我们发现题目的问题，并加以调整。在测验建构中起着重要作用。题目分析可以从质和量两个方面进行。质：内容与形式量：统计学特性题目是否对不同类型的人群有不同的难度与区分度第五步：合成测验项目的选择根据项目分析结果筛选项目，选出的题与双向细目表对照，有效区分且难度合适，考虑题目数及所需时间项目编排通常由易到难并列直进式/混合螺旋式编制复本复本等值要求：－测同一心理特质－相同内容范围－题型、题数相同、难度分布相当－各测验分数分布平均数标准差大致相等第六步、测验的标准化标准化：控制无关因素对测验目的的影响的过程。标准化包括：编制标准化（符合要求）使用标准化（操作规范）测验的标准化编制标准化测验内容－测验项目相同或等值使用标准化施测过程－施测条件/指导语/时限评分－客观/正确经济/实用分数解释－常模标准化样本第七步：测验的修改和鉴定根据项目分析结果，删除、修改和重新编制题目。这是一个多次往复的过程对成型的测验进行标准化，收集测量学证据或资料，包括信度与效度等信度（可靠性或一致性）效度（有效性或正确性）第八步：编写测验手册手册应包括以下内容：1.测验的目的、功用2.理论依据3.实施方法4.标准答案和计分方法5.常模表或其它分数转化与解释的资料6.测验的信度、效度资料及说明二、测验的实施测验实施的一般程序标准化指导语标准时限环境条件主试的职责*计算机化测验：计算机辅助测验/CAT标准化指导语标准化的指导语（instruction）：是在测量实施时说明测量进行方式以及如何回答问题的指导性语言——对受测者和对主试的标准化：指导语内容和形式；主试的朗读标准时限测量时限：典型行为测验（主要指的是人格与态度测验）一般不给时限最佳行为测验（主要指能力和成就测验）需要时限，一般通过试测来确定（90%原则）环境条件主试对测量结果的影响:主试的个性特点：宽容、竞争等主试的期望效应：罗森塔尔效应（Rosenthaleffect,也称皮格马利翁效应）*受测者对测量结果的影响技巧、练习和疲劳因素：策略的迁移、熟练化和身心的疲劳焦虑和动机因素：应试动机：迎合主试、社会称许性（掩饰）、无所谓测验焦虑：一种不愉快的、表现为焦急、恐惧和紧张的情绪体验，主要由于对可能出现的测验结果和自己应付某一局面的能力的担心而造成的焦虑的倒U曲线焦虑的倒U曲线成绩焦虑水平*受测者对测量结果的影响（续）受测者反应的方式或者风格——回答问题的习惯方式求“快”或求“精确”的反应定势偏好正面叙述的反应定势偏好特殊位置的反应定势偏好较长选项的反应定势猜测的反应定势关于CAT(计算机自适应性测验)基本原理：根据项目反应模型，按被试相应的能力水平从题库中选择题目，后面呈现的题目取决于被试对前面项目所做的反应。给出一个中等难度的题目答对：出现一个更难的题目答错：出现一个更易的题目循环往复，直至得到在一定精度上的某个能力值（θ）CAT的优势效率高，要达到同准确的估计，传统测验题目数至少为CAT测验的两倍被试可根据自己的习惯速度作答CAT的劣势开发程序需要大量金钱良好的估计需要大量题目（题库）在以下情况下，人们感觉有不公平不同的人做的是不同的题目不同的人做测验的时间不同测验题目的加权值不同作答不允许被试跳过一些项目，不可返回前面的题目主试职责准备工作遵从指导语对特殊情况灵活处理三、测验的计分和分数解释计分的一般程序测验分数的解释（一）计分的步骤与要求测量的计分:记录反应/检索标准答案/比较反应和标准答案计分方式：客观题——计分套板、机读卡主观题：整体计分或分析计分要求：客观/正确/经济/实用客观评分才可将分数差异完全归于受试者的差异（二）测验分数的解释测量的实施与测量的解释：两个相对独立的过程解释：给测量的结果赋予它应有的意义——不要过度解释（overinterptret）测量的结果解释：常模参照解释；标准参照解释影响测验分数的因素：遗传，学习与经验，测验情境分数解释应遵循的基本原则主试应充分认识测验的性质与功能对导致测验结果的原因的解释应慎重，谨防极端必须充分估计测验的常模和效度的局限性解释应参考其他有关资料以一个分数段而不是特定数值作解释来自不同测验的分数不能直接比较*最后的问题所有题目测量同一种东西吗？如果测量两次，会得到相同或近似的结果吗？如果两个评分者改卷，得到的结果相同吗？测验内容适当地测量了我们想要测的东西吗？我们得到的结果适当地反映了要测的东西吗？我们实际测量的是我们想要测量的东西吗？THEENDTHANKS!