chapter5-validity

第五章测量效度Validity2020/1/11THY,CCNU3/95何为有效的测量？没有人会用天平来测量时间，用直尺来测量重量。因为天平是用来测量重量的，而直尺是用来测量长度的。如果将这些工具用于一些无关的目的，就这些目的而言用它们是无效的。2020/1/11THY,CCNU4/95续…有时我们编制心理测验，并且认为达到了自己期望的目的，但结果却发现测验实际上只测量到了一些与目的完全不相干的特质。如果被测到的特质与自己的测验目的不相符，那么无论它的信度多高也是没有用的，是无效的。2020/1/11THY,CCNU5/95学习目标掌握效度的概念及其与信度的关系。掌握效度的种类，掌握各种效度的估计方法。了解影响效度的因素及提高效度的方法。了解效度的具体应用。2020/1/11THY,CCNU6/95主要内容效度概述效度的种类及估计方法内容效度结构效度效标关联效度影响效度的因素/怎样提高测验的效度效度的应用2020/1/11THY,CCNU7/95效度概述-定义效度(Validity),Val测量结果的有效性程度，也就是一个测验对其所要测量的特质测量到了什么程度。效度系数(ValidityCoefficient),rxy描述某种测量结果有效性程度的数量指标。2020/1/11THY,CCNU8/95效度的“相对性”效度是一个相对的概念，这种相对性表现在以下两个方面：效度是相对于一定的测量目的而言的。效度只有程度上的差异，而不是“全”或“无”的差异。测量“无效”？2020/1/11THY,CCNU9/95效度的数学含义依据经典测量理论的观点，效度被定义为：在测量中与测量目的有关的真实变异与总变异的比率。即2020/1/11THY,CCNU10/95效度概述-效度与信度的关系(1)高信度是高效度的必要非充分条件。高效度是高信度的充分非必要条件。2020/1/11THY,CCNU11/95效度概述-效度与信度的关系(2)测验的效度受它的信度制约，效度系数的最高限度是信度系数的平方根。2020/1/11THY,CCNU12/95测量效度种类及评估方法内容效度效标关联效度结构效度含义及基本保证条件评估方法应用2020/1/11THY,CCNU13/95内容效度-定义内容效度contentvalidity指测验项目所涉及的内容对欲测内容范围的代表性程度。或者说所测内容对要测内容范围取样的代表性。2020/1/11THY,CCNU14/95内容效度-基本保证条件要获得较高的内容效度，必须具备两个基本条件：欲测量的内容范围必须定义清楚，界限分明。测验项目应是所界定的内容范围的代表性取样。2020/1/11THY,CCNU15/95内容效度-评估方法专家判断法经验法再测法复本法2020/1/11THY,CCNU16/95内容效度评估-专家判断法由专家对测验项目与所欲测验的内容范围的吻合程度进行系统的比较判断。具体方法步骤如下:依据双向细目表，明确所要测量的内容范围。确定每题所测的内容，并与双向细目表对照。制定评定量表以评定测验的整个效度及其他特点。2020/1/11THY,CCNU17/95表×高二化学标准测验双向细目表2020/1/11THY,CCNU19/95内容效度评估-经验法如果测验总分和题目的通过率随着年级的增加而增加，则说明该测验对于教学效果的测量具有较好的内容效度。2020/1/11THY,CCNU20/95内容效度评估-再测法如果后测成绩显著优于前测成绩，则说明此测验对于这部分知识学习而言具有高的内容效度。2020/1/11THY,CCNU21/95内容效度评估-复本法获得被试在两个独立取自同一内容范围的测验上的分数，计算出他们的相关，把这一相关作为对内容效度的数量估计。相关高？相关低？2020/1/11THY,CCNU22/95内容效度-具体应用内容效度的评估最适合于成就测验知识和技能的掌握程度也适合于某些选拔和分类的人事测验2020/1/11THY,CCNU23/95内容效度-表面效度表面效度(surfacevalidity)指被试或其他未受过专门训练的人员对测量有效性程度的估计。严格意义上，表面效度不能算是一种效度，它不反映测验实际测量的内容，但可取得被试的合作。何时重视表面效度？2020/1/11THY,CCNU25/95效标关联效度-定义效标关联效度criterion-relatedvalidity指测验对个体的效标行为表现进行估计的有效性程度。又称实证效度、经验效度、准则关联效度，等。2020/1/11THY,CCNU26/95效标关联效度-类型标准：效标资料获得的时间同时效度(concurrentvalidity)效标资料与测验资料同时获得。如，机械能力倾向测验…预测效度(predictivevalidity)效标资料后于测验资料获得。如，招聘选拔类考试…2020/1/11THY,CCNU27/95效标关联效度-具体应用同时效度：诊断现状…预测效度：预测未来表现…例如，某人患病了吗？某人会成功吗？2020/1/11THY,CCNU28/95效标关联效度-效标与效标测量效标(criterion)衡量测验有效性的参照标准，它是独立于测验之外、体现测验目的的行为变量。观念效标(conceptualcriterion)效标测量(criterionmeasurement)2020/1/11THY,CCNU29/95续…观念效标效标的实质内容。如，学习或工作成功、技术水平，等效标测量效标的具体化，可操作的测量指标。同一观念效标可以有多个效标测量。2020/1/11THY,CCNU30/95效标关联效度-常用效标学业成就：学业成绩、学历、奖励，等工作成就：实际工作表现等级评定：以效标行为的主观评定作为效标测量团体对照：选择效标行为表现有差异的团体先前已被证明有效的测验2020/1/11THY,CCNU31/95效标关联效度-选择效标测量的条件有效性(关联性)可靠性客观性(或抗偏性)产生效标测量中偏差的主要原因在于效标污染。实用性(可得性)2020/1/11THY,CCNU32/95效标污染Criterioncontamination常发生于效标测量是评定等级的时候。指评定者知道被试测验的分数，而使其效标分数受到影响的情况。如，入学考试分数与教师主观评定…如何防止？2020/1/11THY,CCNU33/95效标关联效度-估计方法估计效标关联效度的基本步骤明确观念效标确定效标测量考查测验分数与效标测量之间的关系估计效标关联效度的常用方法相关法；组的分类法；命中率法；预期表法2020/1/11THY,CCNU34/95效标关联效度的估计-相关法计算测验分数和效标分数之间的相关系数。根据分数的性质不同采用不同的相关计算方法……2020/1/11THY,CCNU35/95相关法-积差相关系数使用条件测验分数和效标分数都是连续变量的情况。计算公式2020/1/11THY,CCNU36/95例-积差相关情况假设有十个人经职业兴趣测验而被选定作为推销员，其测验分数见下表第一行，而第二行是经过若干年后他们某段时间内销售金额总量（以万元为单位）。现问该测验的预测效度如何？2020/1/11THY,CCNU39/95相关法-二列相关系数适用条件测验分数与效标分数都是连续变量，其中一个变量被人为分为两类。计算公式2020/1/11THY,CCNU40/95例-二列相关情况进行一项智力测验，被试中66名来自实验班，286名来自普通班，最后测出实验班的被试IQ均数为114，普通班被试的IQ均数为96，所有被试IQ分的标准差为14.53。请计算该测验的二列相关系数。2020/1/11THY,CCNU42/95相关法-四分相关系数适用条件测验分数与效标分数都是连续变量，并且每一个变量的变化都被人为地分为两种类型，即以二分变量表示。2020/1/11THY,CCNU44/95相关法-Ф相关系数适用条件测验分数与效标分数都是真正的二分变量的情况。如工作状态、婚姻状态等a、b、c、d表示由两个二分变量所分成的四种类别的实际频数。2020/1/11THY,CCNU45/95例-Ф相关系数研究调查了358名不同性别的大学生对某项教育措施的评价态度，结果如下表。根据这些结果，能否说明性别对评价态度预测效度怎样？2020/1/11THY,CCNU47/95相关法-列联相关系数适用条件测验分数与效标分数其中一个变量不止分为两个种类的情况。C表示列联相关系数，表示R×C列联表计算出的值,N表示样本容量2020/1/11THY,CCNU48/95效标关联效度评估-组的分类法根据被试的效标行为表现，将他们分为不同的组别或群体，如果这些组在测验分数上有显著性差异，则说明该测验的效度高。2020/1/11THY,CCNU50/95续…工作成功组：工作失败组：代入上面公式可得：df=98时，t=5.402020/1/11THY,CCNU51/95效标关联效度评估-命中率法2020/1/11THY,CCNU52/95续…总命中率(取舍正确率)：公平正命中率(录取正确率)：提高效率基础率；录取率（错误拒绝和错误接受的人数比例与临界分数位置）2020/1/11THY,CCNU53/95效标关联效度评估-预期表法呈现实证效度的方法2020/1/11THY,CCNU54/952020/1/11THY,CCNU55/95效度类型-构想效度constructvalidity指测验对理论构想的测量程度，又称结构效度。“是否测到要测的东西”构想或结构是指心理学理论所涉及的抽象而属假设性的概念或特质。应用领域：智力、人格测验等2020/1/11THY,CCNU56/95构想效度-评估步骤界定理论构想建立关于某一构想的理论框架依据理论框架推导出各种关于构想的各种假设用实证与逻辑分析的方法来验证假设2020/1/11THY,CCNU57/95例-构想效度智力是一个人去理解和应付他的周围世界的总的才能。提出智力的十余个方面，编制多项分测验。利用因素分析法验证此测验测量了言语理解、知觉组织和记忆、注意集中三类因素。2020/1/11THY,CCNU58/95构想效度-资料收集方法测验内法测验间法效标关联法实验操作法因素分析法2020/1/11THY,CCNU59/95构想效度资料收集-测验内法主要是通过研究测验内部构造来分析测验的结构效度。内容效度：如，语文能力测验被试在答题时的反应过程：如，数学推理测验测验的同质性2020/1/11THY,CCNU60/95构想效度资料收集-测验间法主要是通过同时考察几个测验间的相互关联，看这些测验是否在测量同一构想。相容效度会聚效度与区分效度2020/1/11THY,CCNU61/95相容效度congruentvalidity考察新编测验与某个已知的能有效测量相同特质的旧测验间的相关，若二者相关较高，则说明新测验有较高的效度，这种方法就叫相容效度法。2020/1/11THY,CCNU62/95会聚效度convergentvalidity如果两个测验是测量同一特质的，即使使用不同的方法进行测量，它们之间的相关也应该是高的。又称求同效度，收敛效度。2020/1/11THY,CCNU63/95区分效度discriminantvalidity如果两个测验测量的是不同的特质，即使使用相同的方法进行测量，它们之间的相关也应该是低的。又称求异效度，判别效度123为自陈法、投射法、同伴评定法；ABC为支配性、社会化、成就动机123为自陈法、投射法、同伴评定法；ABC为支配性、社会化、成就动机123为自陈法、投射法、同伴评定法；ABC为支配性、社会化、成