内容效度

第四章效度第一节概述第二节内容效度第三节效标关联效度第四节结构效度第五节提高测量效度的方法第六节效度资料的概化第一节概述一、效度的含义二、效度和信度的关系三、效度的种类返回一、效度的含义效度（validation)指测验的有效性，即测验分数能够代表所要测量的心理特性的程度，或测验结果达到测验目的的程度。一个测验对所要测验的特性测量到什么程度的估计。AERA，APA，NCME（1999，p12）指根据指定用途支持分数解释的那些事实和理论的有效程度。效度的数学定义测验分数=有效分数+系统误差+随机误差测验分数的方差=有效分数的方差+系统误差的方差+随机误差的方差效度为有效分数的方差与测验分数方差的比2222tcospeSSSS22ScoStVal返回二、效度和信度的关系信度高是效度高的必要条件，而非充分条件2tS2COS2SPS2eS效度不会大于信度的平方根（可由下面公式推导）XYXXYYrcrrrcr矫正后的真实效度系数XYr实际测得的效度XXr测验的信度系数YYr准则测量的信度系数返回三、效度的种类1.内容效度2.效标关联效度3.结构效度返回第二节内容效度一、内容效度的含义二、验证测验内容效度的程序三、内容效度的确定方法四、适用范围五、表面效度返回一、内容效度的含义内容效度（contentvalidation）测验项目对所要测量的内容范围的代表性程度。测验的使用者希望估计测验在它所要代表的环境整体中一个考生表现如何。（1974）内容关联凭证（content-relatedevidence）（1985）基于考试内容的凭证（evidencebasedontestcontent)（1999）（p299）返回二、验证测验内容效度的一般程序以教育测验为例1.确定所要测量的全部内容范围；2.将测验目的具体化为不同层次的测验目标；3.确定每一层测验目标在整个测验中的比重；4.编制双向细目表；5.确定每一小格中的测题数量；6.按比例随机抽取测验题目；7.请专家对测题的代表性、适合性进行分析，并作必要的修改，直到大多数专家满意为止。返回双向细目表举例识记理解应用分析综合评价合计第一章8210第二章10621028第三章3624722第四章296125640合计13271418226100上页三、内容效度的确定1.专家判断法（如前所述）2.复本法3.处理后的重测法4.内容效度比复本法一组被试在取自同样内容范围的两个测验复本上得分的相关来估计。如果相关低，则两个测验中至少一个缺乏内容效度。如果相关高，一般推论测验具有内容效度，但也可能出现两个测验有相同偏差的情况。处理后的重测法前测——教学——后测在教学或训练之前施测某一测验，然后对他们进行教学训练，结束时再测一次。如果成绩提高很大，则说明测验对教学具有较高的内容效度。内容效度比22iNnCVRNin专家中认为某项目代表了相应测验内容的人数CVR内容效度比N参加评定的专家的总人数返回四、适用范围内容效度适合于测验所要测量的内容总体能够明确界定的情况：标准参照测验知识测验、技能测验等教育测验工作表现可以界定的职业心理测验不适合：智力测验，人格测验返回五、表面效度表面效度（facevalidity）被试主观上认为测验是否测量了所要测量的心理特性。并不是一种真正的效度。表面效度影响被试的测验动机。人格测验要求表面效度不宜过高。返回第三节效标关联效度一、效标关联效度概述二、效标三、效标关联效度估计的方法四、效标关联效度的应用返回一、效标关联效度概述效标关联效度（criterion-relatedvalidity）指测验分数与外部效标之间的相关。又称准则关联效度。效标即效度标准。指独立于测验结果，反映测验目的的行为参照。效标关联效度研究的一般步骤1.确定一种恰当的准则行为及其测量方法；2.确定一个能代表测验最终使用对象的适合的受测者样本；3.施测并记录每个受测者的得分；4.得到准则资料，对每个受测者在该准则上的操作进行测量；5.确定测验分数与准则分数的相关程度。效标关联效度的类型预测效度（predictivevalidity）测验分数与随后获得的效标分数之间的相关。同时效度（concurrentvalidity）测验分数与几乎同时获得的效标分数之间的相关。返回二、效标（准则）效标的测量常用的效标1．效标的测量有效性：高效度可靠性：高信度客观性：效标污染（criterioncontamination）：在对效标进行测量的过程中，由于事先知道预测源的结果，而对效标测量产生影响或污染的过程实用性：方便,经济2．常用的效标学术成就（智力测验、标准化成就测验的效标）实际工作表现（特殊能力测验、部分智力测验和人格测验的效标）团体差异（测验分数能将已经知道的团体差异区分开来）临床诊断（人格测验的效标）特殊训练的成绩（特殊能力测验的效标）等级评定（人格测验中其他人的评定）现有的测验返回三、效标关联效度估计的方法相关系数法分组检验法命中率法功利率法返回1．相关系数法方法：积差相关、点二列相关、二列相关、等级相关等优点：提供了预测源与效标之间的数量关系；可利用回归方程来预测效标分数。缺点：预测源与效标是非线性关系时，会低估效度；不能提供关于取舍正确性的指标。积差相关适用条件：测验分数与效标分数都是正态连续变量，且二者存在线性关系积距相关公式xyxyXYnSSrXYZZXYnr2222XYXYnXYXYXYnnr举例二列相关适用条件：两列变量均来自正态分布总体的等距变量，而其中一列被人为地划分为两个类别二列相关公式pqtXXpqbSYrpqtXpXqSpqYpqY等距（等比）变量中与对应的那部分数据的平均值等距（等比）变量中与对应的那部分数据的平均值全部等距（等比）变量的标准差二分变量中取某一值的变量比例二分变量中取某一值的变量比例标准正态曲线下与交界点的轴高度举例返回2．分组检验法基本思想：根据被试在准则上的行为表现，将他们分为不同的组别，如果这些组的预测源分数有显著差异，那么，这个测验的预测效度是较高的。步骤：①依据被试在准则上的行为表现进行分组：成功与失败或合格与不合格②两独立样组测验分数的均数差异显著性t检验③计算重叠量独立样本t检验公式122211221212121211112XXnSnSnnnnXXXXtSS举例计算重叠量当样组规模n越大时，均数之差的标准误就越小。如果t检验有显著性差异，还必须求两个分布的重叠量。XXSSn计算重叠量方法一：A1=失败组中高于成功组测验成绩平均数的人数A2=成功组中高于成功组测验成绩平均数的人数比率越低，两组差异越大方法二：计算两组分数分布的共同区域的人数百分比，即两组分数分布的交叉区域的面积。共同区域的百分比越小，两组差异越显著。举例12AA重叠量返回3．命中率法分类决策的正确性效标成功失败测验成功分数失败正确接受（A）错误接受（B）错误拒绝（C）正确拒绝（D）ADABCD总命中率AAB正命中率举例返回4．功利率法效度的实用性U=B（NS）－C（NU）－SU=功利率B=录用一个成功的人员所产生的平均利润NS=录用人员中成功的人数C=录用一个不合格人员所带来的损失NU=录用人员中失败的人数S=实用测验的费用返回三、效标关联效度的应用对个人分数的预测人员的分类与安置1．对个人分数的预测简单直线回归：由直线回归方程转化为以标准分数表示的方程ZY=rZX预测误差效度系数的平方表示由测验分数能说明的准则测量方差的比例。预测误差的标准误21estYXYSSr预测误差计算举例某智力测验与数学成绩的相关为0.60，数学成绩的标准差为7.0分。如果用智力测验成绩来预测数学成绩，则预测误差的标准差为多少？2217.010.65.6estYXYSSr2．人员的分类与安置根据被试在效标上的预测结果而做出处理或安排。•选拔（selection）：拒绝或接受•安置（placement）：根据被试在单一效标上的预测结果而做出处理或安排。•分类（classification）：使用两个或两个以上的效标。返回第四节结构效度一、结构效度的含义二、确定结构效度的基本步骤三、搜集结构效度资料的方法返回一、结构效度的含义结构效度（constructvalidity）指测验分数在多大程度上测量或解释了某种理论构想。又译构念效度、构想效度返回二、确定结构效度的基本步骤1．建立理论框架2．提出假设3．检验假设返回三、搜集结构效度资料的方法1．测验内方法2．测验间方法3．效标关联法4．实验操作法5．发展水平的变化1．测验内方法确定测验的内容效度分析被试对项目的反应过程考察测验的同质性2．测验间方法相容效度计算新旧同类测验分数之间的相关区分效度计算不同结构的测验之间的相关因素效度通过因素分析找到影响测验分数的共同因素，每个测验在共同因素上的负荷量即每个测验与共同因素的相关，称为测验的因素效度验证智力测验效度的常用方法相容效度法，即求测验结果与一种已经标准化的测验结果的相关效标关联法，即求测验结果与学生学生学业成绩、教师评定的相关发展水平的变化，即整个测验的分数和每个项目的通过率是否随年龄的增长而增加项目效度，即计算项目得分与测验总分的相关内在一致性系数，即检验测验的同质性各种效度分析方法的比较一个算术测验适用于不同目的的效度分析测验目的解说性问题效度的证据小学算术成就测验迪克在过去学会了多少？内容描述预测中学数学成绩的能力倾向测验珍妮在将来会学得好吗？时间效标预测诊断学习无能的技术比尔的成绩说明具体的学习无能吗？同时效标预测数理推理能力的度量海伦的分数与她的推理能力其他指标的关系如何？结构鉴定AnneAnastasi&SusanaUrbina，1998，浙江教育出版社，P177多高的效度才算高？最低标准：效度系数在统计上有显著性；测验的有效性高于现有的决定工具。如果两个测验测量的是同一种心理属性或特质，那么效标关联系数应在0.60以上。如果两个测验测量的心理属性或特质不完全一样，只是具有一定的相似性，那么，效标关联系数的要求会低一些，能达到0.40以上就算是较好的。如智力测验结果与学业成绩之间的相关。返回第五节提高测量效度的方法一、影响效度的因素二、提高测量效度的方法返回一、影响效度的因素测验本身项目质量，项目数量测验的实施测验实施的标准化程度被试身心状态，样本的代表性与异质性效标效标测量的可靠性，与测验分数的关系类型测量的信度信度高是效度高的必要条件返回二、提高测量效度的方法精心编制测验量表，避免出现较大的系统误差妥善组织测验，控制随机误差创设标准的应试情境，让每个被试都能发挥正常的水平增加被试样本的规模，提高代表性选好正确的效标，恰当地进行效标测量，正确地使用有关公式返回第六节效度资料的概化所谓概化，是指在一定条件下得出的结论能否适用于其他情况。测验的效度和信度一样，都与特定情境有关，只有在具体情境下的效度，而没有笼统谈论某一测验的效度。效度的概化（validitygeneration）在某一情境中所作的效度研究推广到其他情境中的过程。一、效度概化的几个方面1预测源的概化使用同一测验的不同复本是否同样有效？同一测验对不同分数水平的人的预测是否同样有效？2效标的概化采用不同种类或不同时距的效标，测验是否同样有效？对于效标的不同分数水平是否预测得一样好？3施测情境的概化不同的施测者、不同的施测条件以及在不同的指导语或心向下做测验是否同样有效？4被试团体的概化测验对于取自同一总体的另一样本是否同样有效？测验对于不同性别、不同年龄、不同教育水平、不同社会经济地位、不同地区、不同民族、不同学校、不同职业的被试是否同样有效？5建立效度方法的概化用不同方法得到的效度指标是否一致？不同的效度之