3-2教育测量与评价的质量特性-效度

教育测量与评价的质量特性第二节效度一、效度的意义•效度（validity)，是指一个测验或量表实际能测出其所要测量的特性的程度。–效度是一个相对概念•效度始终是针对一定测量目的而言的•效度是针对测量结果而言的–效度只有程度上的差异–评价一个测量是否有效要多角度、多方面的收集证据二、效度的统计定义X=T+EV+IV:目标真分数，反映被试某种心理特质真正水平的数值；I:非目标真分数，被试在某种心理特质测量表上表现的与测量目标无关的稳定测值测量效度实质上就是指一次测量出目标真分数的程度效度是目标真分数方差与观察分数方差之比思考：从统计学定义看，效度和信度有什么关系？根据分析，可知：1.高信度是高效度的必要条件，而非充分条件；2.效度系数不会大于信度系数的平方根三、效度的估计•效度估计是多方寻找证据来证明一个测验的有效性程度的过程。–内容效度–结构效度–效标关联效度–结果效度内容效度（contentvalidity）•含义：又称合理效度或逻辑效度，是测验题目样本对于应测内容与行为领域的代表性程度。•应用范围：教育测量（尤其是学业成就测验）；某些用于选拔和分类的职业测验•注意：不适用于能力倾向和人格测验•分析方法–逻辑分析的方法。请有关专家对测验题目与原定内容范围的吻合程度作出判断。–统计分析法。从同一个教学内容总体中抽取两套独立的平行测验，用这两个测验来测同一批被试，求其相关。若相关高，表明测验内容效度较高；若相关低，表示测验的内容效度较低。结构效度（constructvalidity)•结构:心理学或社会学上的一种理论构想或特质。如智力、焦虑、机械能力倾向、成就、动机等。•结构效度是指一个测量能实际测量出理论上的构想或心理特性的程度。它的目的在于从心理学或社会学的理论观点就测验的结果加以解释和探讨。•结构效度主要用于智力测验、人格测验等一些心理测验方面。•验证步骤–第一，提出有关理论结构的说明，并据此设计测量用的试题；–第二，提出可以验证该理论结构存在的假设说明；–第三，采用各种方法收集实际的资料，以验证第二步提出的假设的正确性；–第四，收集其他类型的辅助证据，淘汰与理论结构相反的试题，或是修正理论，并重复第二和第三步，直到上述的假设得到验证。•验证方法–测验内部寻找证据法•内容效度•作答过程分析•测验的同质性•因素分析法–考察测验的实证效度法•差异被试比较法•先后测试分析法效标关联效度（criterion-relatedvalidity)•效标：足以显示测验所欲测量的特性的变量或足以显示测验所欲预测的特性的变量。它是用来检验测验效度的外在的、客观的标准和尺度。•效标关联：又称为经验效度或统计效度，一个测验对处于特定情境中的个体行为进行预测时的有效性。•效标关联可分为同时效度和预测效度•估计方法–相关法•积差相关•等级相关•点双列相关•二列相关•四分相关……–显著差异法•根据效标测量将被试分为两个极端组（如好与坏，成功与失败等），然后检验这两组测验分数是否具有统计学上的差异显著性用积差相关系数的方法估计效度•积差相关，是计算两个变量线性相关的一种方法，由英国统计学家皮尔逊提出，因此也称为皮尔逊(Pearson)相关。要使用积差相关必须同时具备如下几个条件：①两个变量都是由测量获得的连续性数据，即等距或等比数据。②两个变量的总体都呈正态分布，或接近正态分布，至少是单峰对称分布，当然样本并不一定要正态。③必须是成对的数据，而且每对数据之间是相互独立的，即各自互不影响，本条件是难以检验的。④两个变量之间呈线性关系。一般用描绘散点图的方式来观察，最好是先各自转化为Z分数，单位会统一些。例：某中学数学教研组的教师积多年的教学法经验，认为刚入高中的学生学习立体几何感到困难的主要原因是空间想像力弱。为了证明这个论点，他们让刚入高中的103名学生作10道题，测量其空间想像力。为避免知道了某些学生的刚入高中时的成绩影响以后考试的评分，试卷暂不评阅。立体几何学完后，进行考试，按得分多少把成绩分为五等（A、B、C、D、E）分别得5、4、3、2、1分。这时才评阅入学时的试卷，统计出期末得5、4、3、2、1分者在入学测验中分别答对1道题至10道题的人数（见表2-1）。就现有资料，用什么方法可以判断教师们的意见是否正确？表2-1：（答对的题数）12345678910所评的等级ABCDE5432113105421688431245983111321111211解：（1）设期末考试的等第为y，空间想像力测验答对的题数为x，列出二重交叉次数分布表：X（答对的题数）12345678910Y所评的等级ABCDE543211310542168843124598311132111121125313296合计241014202017952103（2）用积差相关系数公式计算效度系数：验的得分和的题数与期末测是指刚入学测验中答对标准差。是期末测验各人得分的对题数的标准差，是刚入学的测验各题答人得分平均数，是期末测验中的人数的平均数，道题道题到是刚入学的测验中答对式中公式　　　　　　　fxySSyxssyxNfxyryxyx103101)42(/12.1/)(58.3103619232331425510394.1103/])55.510(2)55.52(4)55.51(2[55.5103210591034221101/)(22222NyyfSSyySxxNxxfSSyyxxx标准差。是期末测验各人得分的＝）＋＋＋＋＝（人得分平均数，是期末测验中＝）＋＋＋＋＝（道题的人数的平均数，道题到是刚入学的测验中答对＝对题数的标准差，是刚入学的测验各题答式中预测效度，前者对后者有一定的学习成绩有较高的相关体几何间想像力测验成绩与立相关系数较大，表明空)3(699.012.194.158.355.5103/22032203)15(1)510(2)59(4)58(5)57(10)56(3)55(1xyrfxy结果效度•关注测量工具与测验结果的推论与应用（“推论的适切、意义与有用的程度”）；•避免过分依赖量化结果，应适切考虑质的分析；•内容效度或结构效度很好，结果效度不一定好。•验证时应注意：–测验指导手册中对测验目标和测验效度的说明是否合理；–基于测验结果，在给被试写出测验报告或推荐书时，有关推论是否恰如其分；–对测验的优点和缺点是否在应用中过于夸大其实；–能否把测验用到所测特性的范围之外；–基于测验结果的解释和推论是否符合科学原理以及测验道德；–测验结果能否给被试以及所有关注测验结果的使用者提供有益的帮助四、提高效度的方法•控制系统误差•精心编制量表•妥善组织测验•扩充样本的容量和代表性•合理处理信度和效度的关系•适当增加测验的长度—完—