第六章标准参照测验的设计与编制_心理测量

第六章标准参照测验的设计与编制心理测量学江西师大心理与教育统计测量中心引子够水平的通过，不够水平的通不过不够水平的通过了，够水平的没过心理测量学江西师大心理与教育统计测量中心目录标准参照测验概述1标准参照测验的信、效度与误差控制2划界分数设置方法与被试评价3心理测量学江西师大心理与教育统计测量中心第六章标准参照测验的设计与编制标准参照测验概述1心理测量学江西师大心理与教育统计测量中心第一节标准参照测验概述定义编制用途心理测量学江西师大心理与教育统计测量中心一、标准参照测验的定义戈莱塞（1971）：“所谓标准参照测验，是根据某一明确界定的内容范围而缜密编制的测验，并且，被试在测验中所得结果，也是根据某一明确界定的行为标准直接进行解释的”。当使用的标准是用内容材料定义的，即为掌握某领域知识和技能的比例，这时测验就被称为内容参照测验（domain-referencedtest）。心理测量学江西师大心理与教育统计测量中心一、标准参照测验的定义若已知测验分数和某个外部效标有关，则可用被试在效标上的表现直接解释测验分数，这种测验被称为结果参照测验（result-referencedtest）。心理测量学江西师大心理与教育统计测量中心二、标准参照测验的编制心理测量学江西师大心理与教育统计测量中心三、标准参照测验的用途广泛应用于教育教学实践，如教师自编测验、自定进度的教学系统等各类教育水平、职业水平测试，采取了标准参照测验的编制、施测、记分和解释模式用途心理测量学江西师大心理与教育统计测量中心第六章标准参照测验的设计与编制标准参照测验的信、效度与误差控制2心理测量学江西师大心理与教育统计测量中心第二节标准参照测验的信、效度与误差控制项目分析信度分析效度分析心理测量学江西师大心理与教育统计测量中心一、标准参照测验的项目分析（一）测验项目的难度分析标准参照测验对题目难度的要求则侧重题目的代表性。如果题目对要考察的内容范围有良好的代表性，即使通过率很高或很低也应该保留下来；如果题目相对要考察的内容范围而言，不具备很好的代表性，即使中等左右通过率的题目也应修改或删除。心理测量学江西师大心理与教育统计测量中心一、标准参照测验的项目分析（二）测验项目的区分度分析DPP后测前测心理测量学江西师大心理与教育统计测量中心一、标准参照测验的项目分析（二）测验项目的区分度分析DPP乙甲心理测量学江西师大心理与教育统计测量中心一、标准参照测验的项目分析（二）测验项目的区分度分析心理测量学江西师大心理与教育统计测量中心二、标准参照测验的信度分类一致性信度荷伊特信度心理测量学江西师大心理与教育统计测量中心二、标准参照测验的信度（一）分类一致性信度ObcPN11OeOABABeABABPPPPPqqPPPqq心理测量学江西师大心理与教育统计测量中心二、标准参照测验的信度（一）分类一致性信度心理测量学江西师大心理与教育统计测量中心二、标准参照测验的信度（二）荷伊特信度1xxMSrMS人题人心理测量学江西师大心理与教育统计测量中心三、标准参照测验的效度内容结构绩效从内容入手寻找效度证据，可以借助专家判断的方法，也可以通过经验规律、统计等方法进行分析。从理论结构入手寻找效度证据有几种方法，常见的有聚合效度法、区分效度法和因素分析法，其中又以因素分析法最为常用。相关系数大小受分数分布的影响，不适用于标准参照测验。下张介绍一下标准参照测验通过绩效或结果来验证效度的评估方法。心理测量学江西师大心理与教育统计测量中心三、标准参照测验的效度心理测量学江西师大心理与教育统计测量中心第六章标准参照测验的设计与编制划界分数设置方法与被试评价3心理测量学江西师大心理与教育统计测量中心第三节划界分数设置方法与被试评价判断法实证法综合法心理测量学江西师大心理与教育统计测量中心一、判断法整体判断法Nedelsky方法Angoff方法Ebel方法Angoff修正法判断法心理测量学江西师大心理与教育统计测量中心一、判断法（一）整体判断法每位专家从整体上对测验和内容范围进行判断，提出符合标准的最低能力水平被试正确回答的项目的比例。然后将所有专家的分数平均，作为划界分数。心理测量学江西师大心理与教育统计测量中心一、判断法（二）Nedelsky方法第一步由每位专家对每个题目判断临界水平考生都能够排除的反应数；第二步，记录下剩余的反应数的倒数；第三步，将该份测验中所有项目的倒数的和记为A，作为该专家确定的临界水平考生的可能分数；最后一步，对所有专家的A值进行平均，即为最低通过分数。心理测量学江西师大心理与教育统计测量中心一、判断法（三）Angoff方法心理测量学江西师大心理与教育统计测量中心二、实证法Glass（1978）将9年级学生测验成绩的中位数作为一所中学毕业证书考试的最低标准；有人采取低于团体平均水平一个标准差的方法确定截点；Block（1972）提出一种“教育效果法”，试图建立测验分数与学习效果的函数关系，他提出存在一条S型的学习曲线，分界分数在曲线的拐点周围；还有人提出，当通过率与达标比率一致时，可以采用通过率确定及格线的参考标准。心理测量学江西师大心理与教育统计测量中心三、综合法临界组法对照组法Jaeger方法心理测量学江西师大心理与教育统计测量中心三、综合法（一）临界组法1982年，Livingston和Zeiley提出由专家判断和选择一组正处于临界水平的被试，将测验施测于该组被试，计算他们在测验上的平均成绩，以确定测验的内容范围所要求的临界水平。心理测量学江西师大心理与教育统计测量中心三、综合法（二）对照组法1.选择熟悉被试的专家；2.让专家判断一组被试为掌握组，另一组被试为非掌握组，不太容易判断的被试一概剔除；3.对两组被试进行施测；4.在同一坐标系上画出两个被试组的分数分布图（见图6-6）；5.将两个组的交叉点设置为划界分数。心理测量学江西师大心理与教育统计测量中心三、综合法（二）对照组法心理测量学江西师大心理与教育统计测量中心三、综合法（三）Jaeger方法1.每位专家先完成这份测验。2.每位专家对问题“当地每个要毕业的中学生都应能正确回答这道题吗？”作“是”或“否”回答。3.确定每组专家所建议的通过分数分布，计算每组专家中各项目的是-否反应数目。4.告诉每位专家一组11年级的学生（比毕业生低一个年级）在某测验项目上的通过率和组内其他专家对某测验项目的评定。5.允许专家根据上面信息修改他们最初的评定。6.每组专家建议的通过分数的中数作为该组设置的标准。心理测量学江西师大心理与教育统计测量中心复习与思考1．简述标准参照测验的编制过程。2．标准参照测验的区分度分析有几种情况，它们之间有什么关系？3．什么是分类一致性信度，如何计算？4．举例说明标准参照测验几种划界分数的设置方法。5．试比较标准参照测验与常模参照测验效度分析的异同。