1效度与信度简介屏东教育大学陈正昌副教授2效度的意义正确性能测出所欲测量的特质之程度以英文出统计学考题英文作文题目让考生看不懂是科学测量工具最重要的必备条件是一个过程而不仅是程度的问题3更精确而言可依不同的方法得到不同效度效度是指一个测验在使用目的上的有效性效度是测验能够达到某种目的的程度效度是指测验的结果,而不是「测验的本身」效度无法直接测量,但可从其它数据推论效度是「程度的差别」,而不是「全有或全无」效度不具普遍性4效度的种类表面效度(facevalidity)内容效度(contentvalidity)效标效度(criterionvalidity)同时效度(concurrentvalidity):相关(托福成绩高,但无法听说英语)预测效度(predictivevalidity):相关、回归(GRE成绩高,但出国之后无法顺利学习)构念效度(constructvalidity)聚合效度(convergentvalidity):不同的方法、相同的构念区别效度(discriminantvalidity):相同的方法、不同的构念5表面效度好像测量甚么特质,而不是事实上能测量到甚么特质。具有内容效度的测验,通常也具有表面效度。态度或人格测验,具有高的表面效度,不见得好。6内容效度每一题目都应与所界定之内容或行为范围有适当的相关。量表内容应能确实地涵盖所界定之对象范围。项目之分配比例应适当地反应研究范围中,各构念之重要性,及数目多寡。项目不能太少,或太集中于某一构念。判断方法:双向细目表专家判断复本的编制7效标关联效度效标关联(criterion-related)效度,又称实用(pragmatic)效度或实证(empirical)效度「效标」是用来显示测量工具所欲测量(或预测)的特质之独立量数,以作为检定效度的参考标准依据效标不同,效标关联可分为同时(concurrent)效标及预测(predictive)效标8常用的效标学业成就智力测验实际的工作成绩性向测验医师的诊断人格测验先前有效的测验新编测验入学后的成绩入学测验9构念效度构念效度指测验能够测量到理论上的构念或特质的程度10构念效度的判断相关研究:与同性质的测验有相关,与不同性质的测验无关团体差异:如:智力测验分数,六年级>三年级>一年级实验研究内部一致性分析对照团体法:高低分组比较项目与总分之相关因素分析MTMM11信度的意义意义可靠性(trustworthiness)稳定性(stability)一致性(consistency)可信赖度(dependability)精确性(accuracyofprecision)评定方式不同施测者,同一时间,使用同一工具,对同一受试加以评量不同时间,使用同一工具,对同一受试加以评量测量结果能否反映真实程度(抄别人的作业反而比较高分)12信度的种类-1再测信度(test-retestreliability)不同时间使用同一工具对同一受试加以评量稳定信度(stabilityreliability)相关系数复本信度(alternative-formreliability)使用复本对同一受试加以评量:可连续或隔一段时间连续:等值系数间隔一段时间:稳定与等值系数相关系数13信度的种类-2同等信度(equivalencereliability):内部一致性信度CronbachAlphaKuder-RichardsonKR20/21(二分)折半信度(多选)HoytANOVA评分者信度(inter-raterreliability)Kappa系数Kendall和谐系数相关系数ICC(Intraclasscorrelation)14信效度示意图无信度也无效度有信度但无效度有效度也有信度15信度与效度之关系效度是信度的充分条件有效度就有信度没有效度未必没有信度信度是效度的必要条件没有信度就没有效度有信度未必有效度信度的平方根是效度的最大值16《分析》→《降维》→《因子分析》17选择变量与描述统计18判断因子数目的方法19直交及斜交转轴20KMO指数、共同性、方差21碎石图22正交转轴23斜交转轴24《分析》→《度量》→《可靠性(信度)分析》25选择变量及统计量26报表-127报表-228报表-31.20910.8136.45329本单元结束