14第十四章-SPSS应用案例——测验质量分析

SPSS23.0统计分析——在心理学与教育学中的应用2020/2/25第十四章SPSS应用案例——测验质量分析全书目录第一章SPSS23.0简介与基本操作第二章数据编辑与整理第三章数据转换第四章描述统计分析第五章交叉表分析第六章比较平均值第七章方差分析第八章相关分析第九章回归分析第十章信度和效度分析第十一章非参数检验第十二章多选变量分析第十三章SPSS应用案例——问卷调查分析第十四章SPSS应用案例——测验质量分析第十五章探索性因子分析及案例应用第十六章基本统计图表的制作第十七章SPSS应用分析归纳小结第十四章SPSS应用案例:测验质量分析在心理与教育测验中，常常需要对学业成绩测验、智力测验、能力测验等最佳行为测验进行测验质量分析，包括测验分数的整体分布，测验的信度、效度，以及测验各个项目的难度、区分度，以便对测验质量、以及测验的各个项目、题型进行评价。主要包括以下几个方面：第一，试题质量分析，包括试题的难度分析、区分度分析、单选题的选项分析，多级记分试题的分数分布分析。第二，测验分数整体分布分析，包测验分数的峰度、偏度、分数分布图、分数分段统计；以及分析被试群体的优秀率、及格率、低分段率。第三，测验的信度分析、效度分析，详见本书第十章。其中还包括，对整份测验试题进行α信度分析，可以甄别（删除）内部一致性较差的试题。第十四章SPSS应用案例:测验质量分析第十四章SPSS应用案例:测验质量分析14.1试题难度、区分度分析14.2单选题的选项分析14.3多级记分题的得分情况14.4测验分数描述分析14.1试题难度、区分度分析14.1.1试题难度分析在心理与教育测量中的能力测验、能力倾向测验、学绩测验、教育成就测验等等最佳行为测验，都需要计算难度。在SPSS中，难度可以通过两种方法可以计算得到，一种是平均值方法一种是高低分组方法。这里先介绍平均值方法，高低分组方法在接下来的“区分度分析”中介绍。案例：【例14-1】请计算一份高中数学测验中的试题难度，数据文件为“高中数学测验.sav”，其试题满分值文件为“试卷样例_满分.xls”。在SPSS中，难度的平均值方法的步骤如下：第1步：打开分析数据。打开“高中数学测验.sav”文件。第2步：启动分析过程。点击【分析】【描述统计】【描述】菜单命令。将试题t1，t2，…，t33这33个变量都选择到右边的变量列表中，点击【确定】按钮，即在SPSS中就可以得到这些试题得分的平均值。将此SPSS的结果表格复制到Excel中，同时将试卷满分值也复制到Excel中，再将“平均数”一列除以该试题的满分值，即可得到试题难度。最后结果如下（仅摘取部分结果）：以上表格中最后一行“总分”所对应的试题难度P为0.62，就是是整份测验的平均难度，也就是说，整份测验难度相对适中。整份测验平均难度由全体被试的平均分除以试卷总分，而不是计算试题难度累计值的平均值。难度程度等级的参照标准难度程度难度的标准参考容易0.8以上较易0.65～0.79中等0.40～0.65较难0.3～0.40难0.3以下如何评价试题的难度等级、试题难度呢？一般来说，应该从测验整体来评价，评价整份测验的试题难度分布是否合适，而不是单纯的看某一试题的难度。（1）如果是常模参照测验，一般要求试题难度适中，整个试卷的平均难度在0.5左右，大多数题目的难度在0.3～0.8之间，少量的试题可超出这一范围。（2）如果是标准参照测验，则需要以该学科、或该测验对应的考试大纲的要求来评价，此时整份测验的试题难度分布较容易或者较难，都是可以接受的。例如初中的地理学科，生物学科，其试题分布较为容易，而高中数学、物理学科，试题分布则相对较难。14.1.2区分度分析试题区分度也称为试题鉴别力指数D，是试题质量高低的重要指标，其主要计算方法可由由高、低分组的通过率之差可得：即D=PH–PL。此外，区分度还有其他几种计算方法，包括点二列相关系数、二列相关系数、Phi相关系数、积差相关系数这几种方法。点二列相关系数、积差相关系数可以计算皮尔逊积差相关系数，详见本书第八章第一节。Phi相关系数可以利用菜单【分析】【描述统计】【交叉表】计算Phi相关，详见本书第五章第四节。二列相关系数的计算，需要分为多个步骤：（1）根据一道多级记分试题的得分确定分界线，根据该多级记分题的得分分界线进行重新编码，分为两组，菜单命令可参考【转换】【重新编码为相同的变量】；（2）在SPSS中计算超过分界线上的那一组在总分上的平均分、标准差、人数，以及总体被试在总分上的平均分、标准差、人数，菜单命令可参考【分析】→【比较平均值】→【平均值】，可得同时得到分组和总体的平均分、标准差、人数；（3）根据人数计算超过分界线上的那一组人数的比例p，并根据正态分布表查询与p对应的纵高y；（4）根据公式计算出二列相关系数。案例：【例14-2】这里继续以【例14-1】的数据文件为例，计算试题鉴别力指数D。第1步：找出高低分组27％、72％的分界点。点击【分析】【描述统计】【频率】菜单命令，弹出频率分析的对话框。从左边选择“总分”变量进入“变量:”框。单击【统计】按钮，打子对话框，选中“百分位数：”，分别输入27，72，并点击【添加】按钮。如图所示。（这里以27％、72％作为分界点，则高低分组人数会相等；有些研究者如果以27％、73％作为分界点，则高低分组的人数会不等。）点击【继续】回到主对话框，再点【确定】，得到27%，72%对应的测验分数为50，75。第2步：对被试总分进行高低分组，并进行重编码。点击菜单命令【转换】【重新编码为不同变量】，选择“总分”进入右边的框中，并在输出变量框中输入“成绩高低分组”，点击【变化量】按钮，如图所示：点击【旧值和新值】按钮，弹出对话框：在“旧值”框内，选择单选按钮“○范围”，并在范围区间输入两个数字，上面一个数字输入“0”，下面一个数值输入“50”。在“新值”框内，输入1，点击【添加】按钮，就把这个区间以及新的码值到“旧—新”栏中。再在范围区间输入两个数字，上面一个数字输入“75”，下面一个数值输入“100”。在“新值”框内，输入2，点击【添加】按钮。点击【继续】按钮回到主对话框，再点【确定】按钮。在数据集中就生成了一列新的变量“成绩高低分组”。此时，点击“变量视图”，在变量视图窗口，对变量“成绩高低分组”进行值标签定义，1定义为低分组，2定义为高分组。第3步：计算分组的平均值。按【分析】—【比较平均值】—【平均值】顺序，打开【平均数】对话框。将t1，t2，…，t33这33个变量都选择到右边的因变量列表中，选中“成绩高低分组”变量，选择进入“自变量列表”框。单击【选项】按钮，打开子对话框，在此对话框中，将“个案”、“标准差”选择到左边，仅留下“平均值”。点击【继续】按钮回到主对话框，再点【确定】按钮，输出SPSS结果，即得到了高低分组后的平均值，如以下表格。第4步：导出结果，在Excel中进行计算。将结果中的平均值表格复制并粘贴到Excel中，同时将试卷满分值也复制到Excel中。同时，新建四行栏目，包括低分组的得分率PL、高分组的得分率PH、区分度、难度。在“低分组PL”的一行中将试题t1的低分组的“平均数”除以该试题的满分值，即可得到低分组在试题t1的PL，其余试题的PL的计算方法依此类推。在Excel中可以向右拉的方式快速实现类推计算，从而得到其他试题的PL。在“高分组PH”的一行中计算高分组的PH。将试题t1的高分组的“平均数”除以该试题的满分值，即可得到高分组在t1的PH，其余试题的PH的计算方法依此类推。在Excel中可以向右拉的方式快速实现类推计算，从而得到其他试题的PH。接下来，试题区分度D（鉴别力指数）可以由高分组PH与低分组PL之差D=PH–PL计算可得。在“区分度”的一行中，t1的区分度可由高分组PH减去低分组PL，即可得到t1的区分度，其余试题的区分度依此类推。而试题的难度值，由高、低分组的P值之和，再除以2，即P=（PH+PL）/2。在Excel中的具体操作同上。试题的区分度、难度结果如下（仅摘取部分结果）。在计算了各个试题的区分度后，可以根据区分度的评价参考标准进行评价。试题区分度（鉴别指数D）评价的参考标准鉴别指数D项目评价0.40以上非常优良0.30-0.39良好，如能修改更好0.20-0.29尚可，但需要修改0.19以下劣，淘汰14.2单选题的选项分析如果要对试题进行更为详细深入的分析，不仅是判断被试是否答对或答错，而是需要深入将被试在各道试题上的作答信息深入挖掘。填空题、单选题、多选题等这些客观题，容易进一步深入整理，例如填空题可以进一步作答错误的被试有哪些错误，可以归纳总结出典型错误，以及各种错误的频次。而单选题、多选题则可以进一步具体记录被试具体的作答选项，分析被试在各个选项的比例，并进一步分析试题的选项信息，为试题命题提供参考或反馈信息。案例：【例14-3】这里以对某一次生物测验中的单选题分析为例，其单选题的标准答案文件为“单选题选项分析的单选题答案.xls”，在该测验中共20道单选题。第1步：需要重新整理输入数据。在SPSS中需要另外建立数据集，输入每个被试在各个单选题的选项分析。此时输入不是得分，而是输入被试在单选题作答的选项字母信息，被试作答选择A，则输入1，选择B输入2，选择C输入3，选择D输入4。注意：假如被试没有作答的，也需要输入信息，例如使用数字99代表被试未作答。整理输入后的文件为“生物测验的单选题选项分析.sav”。第2步：根据被试总分进行高低分组。分组方法与前一例子区分度中高低分组的方法一样；并在在变量视图窗口，对变量“成绩高低分组”进行值标签定义，1定义为低分组，2定义为高分组。第3步：交叉表分析。点击【分析】【描述统计】【交叉表】菜单命令，弹出交叉表分析对话框，如下图选择“高低分组”变量选入“行：”变量框中。选择“V1”、“V2”…“V20”20个变量选入“列：”变量框中。点击【单元格】按钮，弹出“交叉表：单元显示”的对话框。在“计算”栏内：在本例中，选中“实测”。在“百分比”栏内：选中“行”。其他复选框在本例中，均不选择。设置完成后，点击【继续】按钮回到上一级对话框。然后在主对话框中，点击【确定】按钮，提交执行，得出分析结果。第4步：结果分析。在SPSS输出窗口，第一个大表格为摘要情况（这里省略）。接下来表格是每道试题的选项分析，由于表格较多，这里将列出第一道试题的选择分析表格。在此表格中，第一行数据列出了低分组在各个选项上的人数，以及未答人数，总计为330人，第一行数据为低分组在各个选项上的人数除以低分组人数330人的比例。如果对各个选项上的数据进行判断呢？我们可以参考戴海琦教授的《心理测量学》的第四章第五节，专门讲述了选项分析的过程、选项分析的标准与原则。几个参考标准：（1）正确选项（答案所在的选项）：高分组选择人数多于低分组，且比例应该超过20%（即区分度大于0.20）；（2）错误选项：高分组选择人数等于少于低分组；各个错误选项之间答错的人数比例比较接近，则说明各个错误选项的干扰作用相等。（3）每个选项的选择率不能低于2％，否则说明该选项没有干扰作用；（4）未答人数：项目的未答比例不要超过3％。第十四章SPSS应用案例:测验质量分析第十四章SPSS应用案例:测验质量分析14.1试题难度、区分度分析14.2单选题的选项分析14.3多级记分题的得分情况14.4测验分数描述分析14.3多级记分题的得分情况对于试题满分大于3分甚至20分左右的大题如何细化分析？这里可以对大题的一些描述统计进一步分析，包括统计在该题上的零分人数，满分人数，各个得分的人数，并显示分数直方图。【例14-4】这里再以【例14-1】的数据文件为“高中数学测验.sav”，分析测验中的多级记分题V26至V33题的得分情况。第1步：启动分析命令。点击【分析】