10第十章-信度和效度分析

SPSS23.0统计分析——在心理学与教育学中的应用2020/2/25第十章信度和效度分析全书目录第一章SPSS23.0简介与基本操作第二章数据编辑与整理第三章数据转换第四章描述统计分析第五章交叉表分析第六章比较平均值第七章方差分析第八章相关分析第九章回归分析第十章信度和效度分析第十一章非参数检验第十二章多选变量分析第十三章SPSS应用案例——问卷调查分析第十四章SPSS应用案例——测验质量分析第十五章探索性因子分析及案例应用第十六章基本统计图表的制作第十七章SPSS应用分析归纳小结第十章信度和效度分析10.1克隆巴赫α系数10.2分半信度10.3测验效度在SPSS中的计算第十章信度和效度分析10.1克隆巴赫α系数10.2分半信度10.3测验效度在SPSS中的计算第十章信度和效度分析10.1克隆巴赫α系数一、信度分析方法及计算方法信度分析方法，包括以下几种方法：（1）重测信度法：求其相关系数（2）复本信度法：求其相关系数（3）分半信度法:【标度】【可靠性分析】（4）α系数（Alpha系数）：【标度】【可靠性分析】（5）评分者信度:计算肯德尔和谐系数。二、重测信度、复本信度的评价标准对于测验中，使用相关系数的重测信度、复本信度，学者DeVellis(1991)认为，0.60～0.65（最好不要）；0.65～0.70（最小可接受值）；0.70～0.80（相当好）；0.80～0.90（非常好）。在实践应用中，通常被认为是测验信度系数的优秀标准：①标准化能力与学绩测验的信度系数常在0.9以上；②性格、态度等人格测验的信度系数常在0.8以上；③教师自编学绩测验的信度系数应在0.7以上。三、克隆巴赫α系数的评价标准具体要求：①一份测验的量表或问卷（仅是单维测验时），α系数最好在0.80以上，0.70至0.80之间是可以接受的范围；②分量表最好在0.70以上，0.60至0.70之间是可以接受的范围。如果总量表的α系数在0.70以下，或者分量表的α系数在0.60以下，则应考虑重新修订量表或增删题项。案例1：【例10-1】某研究者为了研究中学生的自律性发展情况，编制了《自律性量表》，共22道问题，并随机调查获取了108名中学生的测验数据，见“自律性量表.sav”，请分析该量表的分半信度、Alpha系数。SPSS操作步骤：第1步：打开分析数据。打开“自律性量表.sav”文件。第2步：启动分析过程。点击菜单【分析】【标度】【可靠性分析】菜单命令，打开如图所示的对话框。第3步：设置分析变量。将左边变量列表中选“V1”、“V2”、“V3”……“V21”、“V22”共22个变量，选入到“项”框中。第4步：选择分析模型。在模型的下拉菜单中，有五个选项：（1）ALPHA：计算信度系数克隆巴赫α系数；（2）折半：计算测验的分半信度；（3）格特曼：真实可靠性的格特曼低界；（4）平行：并行模型假定下的极大似然可靠性估计；（5）严格平行：严格并行模型假定下的极大似然可靠性估计。本例选用第一个“ALPHA”选项：即计算克隆巴赫α系数。第5步：统计参数设置。点击【统计】按钮，弹出【可靠性分析：统计】对话框第6步：在主对话框中点击【确定】按钮，提交执行。SPSS在输出窗口的输出结果。第7步：结果分析。第一个表：观察值处理摘要（略）第二个表：可靠性统计数据第四个表：项目总计统计数据在第四列“更正后项目总相关”，v9最小，为-0.141，表明该项目与其他各项目呈反向相关。凡是反向相关，往往是需要删除的；如果相关系数小于0.20以下的项目，则根据实际情况也是考虑删除的。在第五列“克隆巴赫Alpha”，v9最大，为0.867，表明该项目从量表中剔除，再次计算克隆巴赫α值会变大，说明此项目删除后对克隆巴赫α有贡献。不过，v9的克隆巴赫α为0.867，与整体的0.822相差相对很小，仅从第五列的角度来看，可以考虑暂时不删除。结合第四列、第五列的信息，可以考虑删除V9，然后再进行信度分析。第五个表：标度统计资料第六个表：方差分析【知识拓展】在SPSS中计算出的α系数，不能等同于内部一致性信度（内部一致性系数），也不能等同于同质性信度（同质性系数），更不能等同于测验信度（温忠麟，叶宝娟，2011）。α系数，可以认为是内部一致性信度（内部一致性系数）在特殊情境（视作为单维测验、或仅计算分测验的信度）下的一种计算方法。总之，对于通常的单维测验，如果α系数高到可以接受，其信度就有保证，测验就可以接受。但是，如果α系数过低，应当计算使用内部一致性信度（合成信度）。合成信度（也称为内部一致性信度、内部一致性系数）需要使用验证性因素分析方法计算。在SPSS软件中尚未有验证性因素分析的方法，有兴趣的读者可以进一步参阅有关研究论文，以了解内部一致性信度和同质性信度的计算。[1]温忠麟.心理与教育统计[M].第二版.广东广州:广东高等教育出版社,2016.[2]温忠麟，叶宝娟.测验信度估计:从α系数到内部一致性信度[J].心理学报.2011,43(07):821-829.[3]叶宝娟，温忠麟.测验同质性系数及其区间估计[J].心理学报.2012(12):1687-1694.10.1克隆巴赫α系数10.2分半信度10.3测验效度在SPSS中的计算第十章信度和效度分析案例2：【例10-2】例子内容和数据如前一个例子10-1。SPSS操作步骤：第1步：打开分析数据。打开“自律性量表.sav”文件。第2步：启动分析过程。点击菜单【分析】【标度】【可靠性分析】菜单命令，打开如图所示的对话框。10.2分半信度第3步：设置分析变量。将左边变量列表中选“V1”、“V2”、“V3”……“V21”、“V22”共22个变量，选入到“项”框中。第4步：选择分析模型。在模型的下拉菜单中，选用第二个”折半”选项：计算分半信度。第5步：统计参数设置。点击【统计】按钮，弹出【可靠性分析：统计】对话框，在本例中选择“项”、“标度”、“如果删除项后的标度”三个复选框。点击【继续】按钮回到上一级对话框。第6步：在主对话框中点击【确定】按钮，提交执行。SPSS在输出窗口的输出结果。第7步：结果分析。第一个表：观察值处理摘要（略）第二个表：可靠性统计数据第一行是前半部分（前11题）的的克隆巴赫α值为0.601；第三行是后半部分（后11题）的的克隆巴赫α值为0.770。第七、八行是Spearman-Brown系数，分相等长度、不相等长度两种情况，本例为相等长度，那么分半信度为0.843。注意到表格下面对a,b的注释，说明分半方法是按照测验前半部分、后半部分来进行计算信度的。【思考题】在【例10-2】中，分半信度为将测验项目分为前后两半，然后求分半信度；而在实际测量中需要求奇偶分半信度，怎么来求奇偶分半信度？参考提示：在变量选择时，先选择顺序为奇数的项目，然后再选择顺序为偶数的项目。10.1克隆巴赫α系数10.2分半信度10.3测验效度在SPSS中的计算第十章信度和效度分析10.3测验效度在SPSS中的计算测验效度的一般分类为内容效度、结构效度和效标关联效度（实证效度）效标关联效度的计算方法：（1）相关法，求取测验分数与效标变量之间的相关程度，即效度系数。（2）区分法，以被试在效标上的表现分组，然后再对两组被试在该测验中的成绩用t值进行差异检验。（3）命中率（或标准参照测验的决策效度计算），测验有效性的指标之一就是作出正确决定的比率，即决策的命中率案例3：【例10-3】某一班级的英语期末考试成绩，现欲分析此期末考试试卷的测验效度情况，找到该班的英语四级的考试成绩，数据资料为“英语期末考试和英语四级成绩.sav”，要求分别使用三种方法求期末考试的测验效度（相关系数、区分法、命中率方法）。分析思路：英语四级成绩是效标：（1）相关系数方法，计算期末考试成绩与英语四级成绩的相关系数，再平方即为效度。（2）区分法，这里将“四级是否通过”该变量作为效标变量，检验该变量下两组的期末考试成绩的均值差异比较。（3）命中率法。计算期末考试是否合格，与英语四级是否通过的决策效度、分类一致性效度。SPSS操作步骤：（1）相关系数方法：点击菜单【分析】【相关】【双变量…】菜单命令，在左边变量列表中选“期末考试”和“英语四级”变量，用，选入右边的“变量”框中。点击【确定】按钮，提交执行。此相关系数即为效度系数0.616，此效度系数平方即得到效度为0.379。（2）区分法：使用独立样本T检验，“四级是否通过”作为分组变量，检验两组的期末考试成绩的均值差异。点击菜单【分析】【比较平均值】【独立样本T检验】菜单命令。第一个表格为描述统计信息。第二个表格T检验结果（1）莱文方差等同性检验的F值为0.020，显著性概率为0.8880.05，接受原假设，两个组别方差齐性。因此，选择第一行的t检验的结果。（2）t值是6.222，对应的显著性概率0.000，小于0.05，拒绝原假设。得出结论：两个组别的期末考试分数有显著差异，也就是期末考试的效标效度显著。这里需要进一步报告假设检验的效应量。Cohen效应量的计算值为1.81，大于0.8，属于大效应量。（3）命中率方法：使用SPSS列联表分析方法，求得预测源、效标变量的交叉表人数统计表格。SPSS菜单命令：点击菜单【分析】【描述统计】【交叉表】菜单命令，弹出交叉表分析对话框【练习题】1．采用家庭教育环境量表（FES）调查研究50名教师的家庭特征，测定结果按10个项目的实际得分整理如“家庭教育功能量表.sav”。请以此计算FES的α系数。2．在“某次心理测验数据.sav”数据中，以B量表为效标量表（b1~b76）、S量表为预测量表（s1~s21），计算S量表的效标关联效度。3．编制大学生时间管理问卷。根据黄希庭教授的时间意识理论，将时间意识分为时间管理意识、时间管理计划、时间管理优先、时间管理的反馈调节、时间管理效能这几个层面，并分别进行了编制试题进行测量。进行施测后，获得数据“时间管理测验.sav”，分析测验的克隆巴赫α系数，以及各个分量表的α系数。