第2章实验设计与数据分析一、实验设计的基本问题二、真实验设计三、准实验设计和非实验设计概念实验设计:指研究者针对需要验证的实验假设,为有计划地搜集资料而预先建立和依据的设计模式。心理学的实验设计是心理学与统计学相结合的实验技术科学(心理测量学也同样是心理学与统计学相结合的科学)概念实验设计包括:形成统计假设制定实验计划:证明实验假设的思路?如何搜集数据?如何分析数据?阐明检验统计假设所遵循的决策:决策标准?(探索性研究与验证性研究的决策标准通常存在差异)实施计划:按计划搜集资料,并分析资料统计决策:对统计假设的真伪作出归纳性推断操作定义1、含义:在研究中,对变量作出明确的定义有两种方式:一是抽象定义,指对研究变量或指标本质的概括,以揭示其内涵,并将其与其他变量或指标区别开来;二是操作定义,指用可感知、可度量的事物事件、现象和方法对变量或指标作出具体的界定、说明。作出操作定义的过程就是将变量或指标的抽象陈述转化为具体的操作陈述的过程。2、特征操作定义最大的特征就是它的可观测性,另外还有(1)在内容上,用具体的事物来说明变量或概念;(2)在方法上,用经验的方法,即可直接感知、度量的方法进行定义;(3)在着重点上,着重于界定变量的外延和操作过程。3、操作定义设计的原则与方法科学地设计操作定义,必须遵循对称性原则和独特性原则。前者指操作定义必须与其抽象定义相对称,不能过宽或过窄;后者指操作定义必须使其具有区别于其他事物、现象的独特特征。设计方法:(1)方法与程序描述法,即通过特定的方法或操作程序给变量或指标下定义的一种方法。如“饥饿”可定义为剥夺进食24小时后个体存在的状态。(2)动态特征描述法,即通过描述个体或事物所具有的动态特征给变量下定义的一种方法,如“聪明”可定义为善于解决问题、运算灵活、记忆快速。(3)静态特征描述法,即通过描述客体或事物所具有的静态特征给变量下定义的一种方法,如“聪明”可定义为知识渊博、词汇丰富、运算技能熟练。一、实验设计的基本问题——变量选择与控制1.变量的选择心理学实验的目的在于探讨刺激与行为(反应)之间的关系或说明关系的性质S-R或S-O-R之间的关系在心理学实验研究中则以自变量、因变量、额外变量(控制变量)、中间变量、调节变量、无关变量等变量之间的关系来进行描述一、实验设计的基本问题——变量选择与控制2.实验设计中的控制(1)实验控制:指对实验条件的限制。(2)控制的应用对变量的控制:随机化是实验研究中的重要控制变量的技术。利用随机化原则对自变量进行控制包含两种含义:一是从限定的总体中随机抽取被试作为实验的样本;二是将抽取的被试随机分配到相应的实验处理中去。从限定总体中随机抽取样本的常用方法有:简单随机抽样分层随机抽样一、实验设计的基本问题——变量选择与控制使用控制组逻辑:米尔的第一原则(如果a在A后面发生,那么A有可能是a的原因)和第二原则(如果a总是跟在A后面发生,并且如果A不存在,则a也不存在,那么可以断定A是a发生的原因)一、实验设计的基本问题——变量选择与控制3.实验误差实验误差是存在于实验单元内做同样处理所得到观测数据间的变差的度量。实验误差的三个主要来源:来自被试差异的误差(S-类误差,G-类误差)来自实验环境和操作过程的误差(G-类误差)重复实验引起的误差(R-类误差)注S:subjects;G:groups;R:replications一、实验设计的基本问题——变量选择与控制3.实验误差尽可能减少误差的措施调整实验中的被试,以减少其内在的变差效应在可能的情况下,增加实验重复的次数,对实验结果进行综合评价一、实验设计的基本问题——实验中的效度因变量的效度概念回顾:效度即有效性,当确是自变量而不是其他各种因素造成了因变量的变化时,我们就说因变量是有效的。效度反映的是对因变量的测量是否测得到的是因变量自身真正代表的属性。实例在一项研究解题方法(自变量)对解题能力影响的研究中,若以被试在一定时间内解答出来的问题的多少为因变量的指标,当要解答的问题足够多,而且按困难程度排列时,以解答问题的数目作为因变量指标是有效的。但是,如果问题很多但又都非常容易,那么解答问题的数目作为因变量的指标就不能说是有效的。因为它可能是由阅读速度和书写速度造成的,而并不能准确地反映出学生的解题能力。一、实验设计的基本问题——实验中的效度实验的内部效度:指实验变量(处理)能被精确估计的程度。一、实验设计的基本问题——实验中的效度影响内部效度的因素:1.历史(经历)历史事件指那些在实验过程中,与实验变量同时发生,并对实验结果产生影响的特定事件。当出现这种情况时,研究者往往无法判断实验结果是由处理(自变量)引起的,还是由特定事件引起的。周期比较长的实验容易历史因素的影响。例如,在某项教学改革实验中,实验学校在实验进行期间参与了上级教育主管部门在全地区范围开展的教学评比活动,这一事件势必会对整个学校的教学活动带来某种程度的影响,从而影响到我们对教改实验结果的评估。很多教育实验往往需要较长周期,所以历史事件对实验结果的影响应该得到关注和考虑。一、实验设计的基本问题——实验中的效度影响内部效度的因素:2.成熟或自然发展的影响人们无论是否参与实验,都在不断地成长和变化。而此类的变化将影响实验结果。在长期实验中,被试随着年龄的增长,将会变得日益成熟,经验和能力都会得到提高。参与时间较短的实验,被试也会发生疲倦、困倦、无聊、饥饿或其它变化,这些变化也会改变他们在实验中的行为。练习效应、学习效应、疲劳效应一、实验设计的基本问题——实验中的效度影响内部效度的因素:3.选择选择因素指由于没有用随机取样和随机分配的方法来选择两组或几组被试,因而在实验处理之前各被试组在各方面就事先存在着差异。这样,以本来就存在差异的几个实验组施加实验处理之后再来比较各个组之间的差异,比较出来的结果就说明不了到底是本来就具有的差异造成的还是实验处理的不同造成的,研究假设就无从证明。随机化选择和分配被试的必要性、教育研究中的自然班的问题一、实验设计的基本问题——实验中的效度影响内部效度的因素:4.测验指由于实验处理之前所施行的前测量可能积极地或消极地影响着实验处理后的测量,进而混淆实验的结果。在有前测的实验中,被试可能会由于在前测中获得了经验,从而提高了在后测中的答题能力;也可能会由于前测带来疲劳而影响到后测的成绩(前测和后测间隔时间很短)。前测的作用及可能的影响一、实验设计的基本问题——实验中的效度影响内部效度的因素:5.被试亡失在一个延续时间较长的研究中,被试的更换、淘汰或中途退出可能会对实验结果产生显著影响。例如,在有实验组和控制组的两组实验中,由于控制组在中途有优秀生转学进来,结果实验组效果很好,这就可能是由于被试更换造成两组被试不等而造成的,而不一定就是实验处理的效果。周期比较长的实验容易发生一、实验设计的基本问题——实验中的效度影响内部效度的因素:6.统计回归指由于选用在某一特征方面具有极端分数(最优或最差)的被试,到了实验后期测验时分数通常会发生自然向群体的平均值靠拢的趋势(集中趋势)——变得不再是最优或最劣,在重复测量中分数向平均分靠拢。一、实验设计的基本问题——实验中的效度影响内部效度的因素:7.仪器使用指实验中测试手段、技术和工具的失效或缺乏一致性。这可能是测试工具发生了变化(如仪器失灵、问卷涂损等),或者是在实验过程中由于试验者主观情绪状态发生变化(如变得更严格、疲倦或粗心等),或者是评判标准发生了变化(如前后难度不同,不同班用不同的测验,或者评判者的差异等),这些情况带来的可能结果是测量和评级的精确性的会受到严重影响。一、实验设计的基本问题——实验中的效度影响内部效度的因素:8.上述影响因素的交互作用:其中特别是选择和成熟的交互作用最为常见选择与成熟的交互作用是指成熟程度不同的被试被安排在不同的组中将会影响实验结果的正确解释。(说明前测在某些研究条件下的必要性)一、实验设计的基本问题——实验中的效度实验的外部效度:指实验研究的结果能被概括到实验情景以外的程度。即实验结果的普遍代表性和适用性。实验设计的核心在于实验控制,但是,在人为控制创设的实验情景下得出的规律,其推论也往往有相当的局限性。一、实验设计的基本问题——实验中的效度影响外部效度的因素:1.测验的反作用前测增加或降低被试对实验条件的敏感性,使得实验结果难以推广。一、实验设计的基本问题——实验中的效度影响外部效度的因素:2.选择偏差与实验变量的交互作用抽样或分组没有做到真正的随机化,带来选择偏差(即以非对等组进行比较)。一、实验设计的基本问题——实验中的效度影响外部效度的因素:3.实验安排的反作用被试在实施处理前了解实验的安排或因参加实验而受到暗示,被试可能产生霍桑效应(安慰剂效应)一、实验设计的基本问题——实验中的效度影响外部效度的因素:4.重复实验处理的干扰同一组被试在短期内接受两种或两种以上的实验处理时,前一实验处理往往会对后一实验处理产生积极或消极的影响,使被试产生练习效应或疲劳效应。一、实验设计的基本问题——实验中的效度教材上没有提到的其他影响实验内部效度或外部效度的重要因素:1.实验处理的“传染”假如实验组与控制组有机会相互沟通,实验组的被试就可能把一些实验刺激的因素传递给控制组的被试。例如,某学校在进行一项教师是否进行学习方法指导对学生成绩影响的实验研究中,实验班和对照班的学生可能会私下交流学习经验,得到学习方法指导的实验班学生会把好的学习方法传播给对照班的学生。这时候我们就说对照班受到了“污染”,已经不是真正的对照班了。一、实验设计的基本问题——实验中的效度教材上没有提到的其他实验内部效度和外部效度的重要影响因素:2.实验者或实验助理人员的偏向皮格马利翁效应(期望效应):在美国心理学家罗森塔尔和雅各布森(1968)针对实验者的期望对被试带来的影响所进行的一项实验实例分析自变量是被操纵的;因变量是被观察的;额外变量(控制变量)是保持恒定的。指出下列实验中的自变量、因变量和控制变量。例一:一汽车制造商想了解为了使后面的汽车司机能够尽快地知道前面的车子已经停住,汽车的刹车灯应该多亮?例二:训练一只鸽子看见绿光啄键盘,看见红光不啄键盘,正确啄键盘后,给予谷子作为强化。例三:想知道一个人估计时间的准确性,设计如下:一只绿色小灯泡和电子记时器相连,主试按键让灯亮5秒、10秒、30秒、60秒,然后让被试相应复制出按键时间。例四:语言教师想知道在一个语言教学班里班容量的大小是否会影响学生学习的积极性。二、真实验设计——完全随机化设计完全随机化设计(简单随机化设计),指用随机化方法将被试随机分为几组,然后依实验的目的对各组被试实施不同的处理。二、真实验设计——完全随机化设计1.随机实验组控制组前测后测设计(1)设计模式:RO1XO2RO3XO4R代表随机化,O代表观测,X代表实验处理二、真实验设计——完全随机化设计1.随机实验组控制组前测后测设计(2)数据的统计检验:①增值分数比较:△a=O2-O1△b=O4-O3?△a=△b两种错误的统计检验方法错误的检验方法一:?O2=O1?O4=O3If(O2≠O1andO4=O3)Then自变量对因变量有效应两种错误的统计检验方法错误的检验方法二:?O1=O3?O2=O4If(O1=O3andO2≠O4)Then自变量对因变量有效应为什么不对?进行了两次统计决策,导致统计误差增大(0.95×0.95=0.90);无法很好地排除历史、成熟、自然发展及测验等影响内部效度因素的影响。二、真实验设计——完全随机化设计1.随机实验组控制组前测后测设计(2)数据的统计检验:②协方差分析:以前测分数为协变量,对实验实施前的被试的组间差异进行统计控制和调整,以使得两组的后测成绩具有可比性,排除前测成绩的影响。(优先选择的统计方案)③曼-惠特尼(Mann-Wh