搜索
一、信度（reliability）定义若重复进行测量，产生相同结果的准确程度测量的可靠性、稳定性和预测性测量的精确度•反复测量结果的稳定性或一致性可能很高•但却可能是不准确的用零点没有调整在中心的秤来测量重量采用有明显导向性的问答题组成的量表测量态度二、效度（validity）定义•所测量的是不是研究者所想要的•在多大程度上给出了他/她所想要的例如，研究者希望测量电视广告的传播效果目的：了解广告能否引起目标消费群的购买欲望消费者的购物决策是否与观看的电视广告相关如果：最终测得的不是广告对消费者购物决策的影响而主要是消费者对广告艺术感染力的评价结论：所用量表是无效的或是效度很低的•信度高时效度不一定高•但效度高时信度一定高从三个方面来分析测量的信度•稳定性(stability)•内在一致性(internalconsistency)•等价性(equivalency)三、信度评价1、稳定性分析也叫做测验--再测验法目的：考察对于同样的问答题（或测试）对同一组被访者或受测试者前后两次测量的结果是否基本一致1、稳定性分析方法：用“再测信度”来测量稳定性再测信度：两次测量结果间的相关系数相关系数越接近1，表示稳定性越好1、稳定性分析缺点：一般应用中很难真正实现（人力、财力、时间）再测信度的应用有局限性•第一次的测量可能会影响到第二次（信度偏高）•两次测量间客观的情况可能有变化（信度偏低）2、内在一致性分析目的：检验多项目量表中各个项目的一致性可信的量表的项目必须具有内在一致性2、内在一致性分析方法之一：折半法(split-halftechnique)•将量表中的项目分成两半•计算这两部分的总得分的相关系数rh如果量表具有较高的内在一致性那么这两部分应该是高度相关的2、内在一致性分析方法之一：折半法(split-halftechnique)优点：不需要重复的测量常用分法：按项目号的前后顺序分或按项目号的奇偶性分计算公式：ru=2rh/(1+rh)2、内在一致性分析方法之一：折半法(split-halftechnique)注意：需先将量表中的反意题作逆向处理再分别计算两部分的总得分前提假设：两半题项得分方差大致相等否则可能会低估信度系数2、内在一致性分析方法之二：alpha信度系数法克朗巴哈提出用α系数来测量累加量表的信度α=K(1-Σσi2/σT2)/(K-1)K量表中题（项目）的总数σi2第i个题（项目）得分的题内方差Σσi2K个题项的方差之和σT2总得分（所有题项得分之和）的方差α信度系数是评估量表内部一致性的比较常用系数2、内在一致性分析方法之三：平均相关系数法缺点：偏重于项目之间的相关而不是整个量表的信度项目越多，平均相关系数就可能越高提高信度的方法之一：增加量表中的测量项目因为各个项目的随机误差可能会相互抵消2、内在一致性分析小结：•信度的高低既依赖于项目的内在一致性•也依赖于量表的长度因此：•一方面尽量设计内在相关性更高的项目•另一方面也可以考虑适当增加项目的数量3、等价性分析A当使用两种不同的量表去测量同一概念时，这两种量表是否等价？方法：在同一时段中，让同一组被访者接受两种量表的测试；计算两组得分之间的相关，用于评价信度B当两个评分者（或编码员）判断同一现象时，评价结果是否一致？方法：计算两个评分者评分之间的相关；或计算两个编码员编码结果一致的比例，用于评价信度3、等价性分析•前一种应用A比较少见（构造等价的量表非常困难）•后一种应用B比较常见，也称为评分者内在信度(inter-raterreliability)编码员间信度(inter-coderreliability)3、等价性分析在内容分析中，要评价编码员间信度编码：将分析单位（如单词、符号、主题等）置于各种内容类别中不同的编码者独立地编码如果能得到比较一致的结果则信度较高3、等价性分析--编码者间信度的计算公式霍斯提(Holsti)公式假定两个编码员分别同时做了m1和m2个单位的编码，其中一致的编码数为m，则编码者间信度=2m/(m1+m2)3、等价性分析--编码者间信度的计算公式霍斯提(Holsti)公式优点：计算简单、易于操作缺点：信度的大小可能与编码时所用的类别的数目有关类别的数目越少，由于偶然性而造成一致的可能性就越大编码问题都是两个类别时，随机的编码也可能有50%的信度在五个类别的情况，随机的编码就只可能有20%左右的信度3、等价性分析--编码者间信度的计算公式史考特(Scott)指数编码员间信度π=(πo-πe)/(1-πe)πo：观测到的一致性或叫实际一致性（用霍斯提公式计算）πe：纯粹由于偶然性而造成的一致性或叫期望一致性（等于每个类别出现的相对频率的平方和）3、等价性分析--编码者间信度的计算公式•利用霍斯特公式计算时，一般信度在90%或以上•利用史考特公式计算时，信度大都是75%或以上考察编码员内(intra-coder)信度时•让同一个编码员在不同的时间内对同一个资料编码两次•然后借助以上公式计算编码-再编码信度将上式中对应两个编码员的数据，改为同一编码员的两次数据例在一项少儿电视节目内容分析的编码表中，两个编码员分别同时独立地将100个少儿节目分配到如下三个类别中：1、单本剧2、连续剧3、系列剧。已知编码不一致的节目共计8个；这三个类别的节目数分别占30%、45%和25%。试分别利用霍斯提和史考特公式，评价这两个编码员编码的等价性。解：m1=m2=100,m=100-8=92霍斯提信度=2m/(m1+m2)=2(92)/(100+100)=0.92πo=0.92,πe=(0.30)2+(0.45)2+(0.25)2=0.355史考特信度π=(πo-πe)/(1-πe)=(0.92-0.355)/(1-0.355)=0.876效度主要有三种类型：•内容效度(contentvalidity)•效标效度(criterionvalidity)•结构效度(constructvalidity)四、效度评价1、内容效度也叫做表面效度(facevalidity)•用最简单的也是最基本的主观判断的方法•一般根据测量量表所选的题项来判断•仅从表面上来观察判断其是否能够代表想要测量的内容或主题1、内容效度•尽量收集和阅读与测量内容有关的资料•除了研究人员的主观判断之外•最好再请一些专家来帮助判断1、内容效度单项与总和相关效度分析法•确定各个具体的题项对整个量表的效度是否都有足够的贡献•或考察量表内的题项是否具有同质性计算每个题项的得分与总分的相关系数如果相关不显著，表示该题项的鉴别力低，最好剔除题项与总和的相关关系越显著，量表的内容效度也越高1、内容效度例如，1993年卜卫等在厦门受众调查问卷中（见“媒介·人·现代化”），设计了一个四级李克动机量表，以测试厦门受众的媒介使用动机。表中的受众媒介动机量表就是剔除了不合格题项后的量表，表中的各个题项的得分与总分都是显著相关的（概值P≤0.001），说明量表内的各个题项之间具有较好的同质性。表厦门受众的媒介使用动机--四级李克动机量表，以及各题项与总和的相关您为什么看电视、报纸或杂志，和听广播呢？下列情况符合您吗？不符合有点符合比较符合非常符合与总和的相关1、为了娱乐1234**2、为了消遣1234**3、满足好奇心1234**4、寻求购物参考1234**5、寻求解决工作、生活问题的方法1234**6、增加新知识、新见闻1234**7、了解别人对各种事物的看法1234**8、了解各地的事情1234**9、了解方针政策1234**10、和家人或朋友共享欣赏或阅读乐趣1234**11、工作时可以得到调剂1234**12、增加谈话资料1234**2、效标效度也叫做效标关联效度或独立标准效度效标是一个与量表有密切关联的独立标准•将量表所测特性看成因变量•将效标看成自变量•所测特性与效标密切相关的量表才是有效的量表2、效标效度的分析方法•考察所测特性（因变量）与效标（自变量）是否有显著的相关(相关分析)•或是对效标的不同取值，特性的值是否表现出显著的差异(t检验、F检验）•效标的确定并不是一件容易的事•选择效标一般要根据某种已知的理论、或某种已经得到肯定的结论2、效标效度的举例•用高考的成绩，作为预测学生大学期间学业成绩的效标（是否有研究结果表明，这两者之间是有密切相关关系的）•设计测量人们现代化观念的量表时，媒介接触行为可能是主要的效标之一（很难设想不看报、不听广播的人会具有现代化的观念）可考虑以媒介接触频度、时间、内容等为具体的效标2、效标效度的举例台湾的“兰屿民众传播行为与现代化程度之研究”,用离岛经验作为测量雅美族人现代化程度的效标有、无离岛经验的雅美族人之间现代化程度有明显差异的量表才有可能是高效度的量表要剔除那些没有显著差异的低效度的题项3、结构效度•评价量表测量的结果是否与理论假设或框架相关称能测出结构的量表为具有高的结构效度的量表因子分析法(factoranalysis)•评价量表中的各个题项能否有效地区分研究对象各题项能否有效地鉴别态度不同的被访者？题项内容的难易度是否合适？项目分析法(itemanalysis)3、结构效度---因子分析法•因子分析法是一种高级的统计分析法将量表中的题项集合成不同的群使每一个群的变量（题项）共享一个公共因子这些公共因子就代表了量表的基本结构考察这些公共因子的意义比较量表的实际结构与理论框架之间的异同若两者相吻合，且提取的公共因子有足够的代表性则说明该测量量表具有令人满意的结构效度3、结构效度---因子分析法举例对测量动机的量表进行了因子分析（参考“媒介●人●现代化”）结果将受众使用媒介动机分成了三类信息寻求动机、娱乐消遣动机、社会功利动机与研究者设计量表时假设的结构一致说明这一动机量表具有很好的结构效度表6-8厦门受众的媒介使用动机量表的因子分析结果公共因子媒介使用动机量表中的题项负荷量有效程度累计有效程度增加新知识、新见闻0.81387了解别人对各种事物的看法0.71011了解各地的事情0.68234因子一信息寻求动机了解方针政策0.6467125.9%25.9%为了娱乐0.74905为了消遣0.77368满足好奇心0.56495和家人共享阅读的乐趣0.36928工作时可以得到调剂0.57227因子二娱乐消遣动机增加谈话资料0.5186716.0%41.9%寻求购物参考0.84701因子三社会功利动机寻求解决工作、生活问题的方法0.7951811.7%53.6%3、结构效度---项目分析法（难易度）量表中各个题项的“难易度”和“鉴别度”难易度=(PH+PL)/2PH和PL分别表示高分组和低分组的通过率3、结构效度---项目分析法（难易度）通过率的计算方法：•将反向题作逆向处理后，计算累加量表的总分•总分按由小到大的顺序排列，划分成人数相等的四个组•分数最高和最低的两个组分别为“高分组”和“低分组”•计算这两组的被访者在每个题项上的“通过率”PH和PL正向题的通过率=（“非常同意”+“比较同意”）的比例逆向题的通过率=（“很不同意”+“不太同意”）的比例3、结构效度---项目分析法（难易度）通过率的意义•对于正向题，表示持肯定、积极态度的比例•对于反向题，表示持否定、消极态度的比例某题项的难易度=高分组和低分组通过率的均值•难易度越大，表示该题项越“容易通过”•态度量表取难易度适中(0.5左右)的情况较多3、结构效度---项目分析法（鉴别度）量表中各个题项对所测特性的区分能力鉴别度=PH-PL3、结构效度---项目分析法（鉴别度）鉴别度的意义•某题项的鉴别度越大“高分组”和“低分组”对某个题项反应的差异越大持肯定、积极（否定、消极）态度的比例之差越大•量表中各个题项的鉴别度高一些为好考试题最好能将成绩好的和差的学生区分出来使成绩好的学生大多数都能通过而成绩差的学生却很少能通过例对亚运会态度量表的单项与总和相关效度分析（n=1,220,***表示p0.001）对亚运会的态度量表平均值标准差与积极态度方向相关系数显著程度1、亚运会将显著提高中国的国际声望，树立良好的