管理研究方法论.

第六章研究的有效性•管理研究中，有效性（Validity）是被普遍接受的评价研究的指标。这种评价与其说是对方法本身的优劣进行评价，不如说是对研究方法选择与应用是否适当进行评价。•任何理论都是由对有关概念、概念间关系的描述组成，并有其特定的理论背景和应用范围。因此对管理研究的评价，就集中在对有关概念及概念间关系研究的评价上，同时考察理论的背景和应用范围。研究有效性的类别研究的有效性（Validity）主要分为三种：•概念建构有效性（ConstructValidity，简称C.V.）；•内部有效性（InternalValidity，简称I.V.）•外部有效性（ExternalValidity，简称E.V.）各种有效性的定义•概念建构有效性是指理论中的抽象概念在多大程度上在实际研究中成功地进行了操作化，即操作变量在何种程度上体现了它想要体现的理论概念的真正含义。•内部有效性是指在多大程度上研究允许得出两个变量之间是因果关系的推断。•外部有效性是指在多大程度上可以将对特定研究样本和在特定研究环境下所得到的研究结果推广到理论假设中所明确的总体和环境中去，因而又可称为可推广性（generalibility）。三种有效性之间的关系真实世界特定时间、背景、对象群体其它时间、背景、对象群体变量x变量y概念Y概念XE.V.C.V.C.V.I.V.统计结论有效性•还有一种分类法是把有效性分为四种，即：概念建构有效性；统计结论有效性（StatisticalConclusionValidity,简称S.C.V.）；内部有效性和外部有效性。•统计结论有效性是指关于变量之间相关变化的统计推论在何种程度上得到证实。对内部有效性则定义为：观察到的相关变化在何种程度上可被认为是因果关系。•概念之间的关系可以表现为相关关系和因果关系，相关关系是因果关系的必要条件。这种分类方法是把前一种分类法中内部有效性的内容分成统计结论有效性和内部有效性两个层次。一、概念建构有效性•概念建构有效性指的是一种操作化方案在何种程度上反映而且只反映希望度量的概念，而不受其他概念的系统影响。它反映了理论层次的抽象概念与度量抽象概念的操作变量之间的符合程度。•对概念的度量应该是能够量度绝大多数希望反映的概念，而最大程度地避免不希望反映的概念和随机误差的影响。考察概念建构有效性的必要性•概念建构有效性是理论发展与检验的必要条件。如果抽象概念与它的操作变量之间缺乏一致性，理论也就难以成立和发展。研究如果缺乏概念建构有效性，无论随后的数据分析多么复杂精细，研究的结论也是没有意义的。•概念的操作化过程不可避免地会包括一些不应包括的内容，同时又没有把一部分应包括的内容包括进来，因而管理研究在不同程度上都存在概念建构有效性问题。概念度量误差的基本来源•概念度量误差的一个基本来源是观测变量对概念内涵反映的不充分和不准确。•操作层次的可观测变量是对理论层次的抽象概念的一种表示。实际上，变量不可能只反映它感兴趣的理论概念，也不可能完全体现理论概念。•对一个变量的度量即使高度可靠，即度量的随机误差很小（实际上，任何度量都不可避免会有随机误差），也可能不具有高的概念建构有效性。因为可能是可靠地度量了其它概念，而不是原来希望度量的概念。概念的多操作化定义操作性界定2操作性界定1操作性界定3被度量的Construct被度量的Construct误差度量误差来源举例•如果要研究采用多媒体手段教学与学生学习效果的关系，可以设计一种实验，通过考试测度采用多媒体手段与不采用多媒体手段学生学习成绩的差别，以检验所提出的假设。•学生的学习成绩作为一种操作变量既反映我们希望反映的概念“学习效果”，也会反映不希望反映的概念，如：考试测试了与学习成绩无关的内容：学习兴趣、考试引起的紧张、学生的语言能力和应试经验等，这些都会给测试带来系统误差。•另外，度量中还会有随机误差，如阅卷错误、记录错误等。组成概念度量值的成份•在概念域界定清楚的前提下，用操作变量对概念进行度量的结果一般由三部分组成：（1）希望反映的目标概念的内容（真实值）；（2）不希望反映的非目标概念的内容（系统误差）；（3）随机误差。即：X0＝XT＋XS＋XR其中，X0为度量值；XT为真实值；XS为系统误差；XR为随机误差。有效性与可靠性的关系对概念度量有效性的评价包括了两个部分：XR和XS。与XR有关的部分称为可靠性（Reliability，又称信度），指在何种程度上度量避免了随机误差。•广义的有效性是指操作化定义或测试的结果多大程度上能代表要研究的复合概念。本身包括可靠性。•狭义的有效性是指测试结果多大程度上能避免系统误差。此时不包括可靠性。•有效性以可靠性为前提，没有可靠性就没有有效性。在假定度量具有高可靠性的前提下，概念建构有效性主要取取决于系统误差XS。概念建构有效性的层次•按照理论在概念建构有效性验证过程中的作用，可以将概念建构有效性区分为：•属性有效性指在概念建构有效性验证过程中，不考虑理论的作用（理论只用于最初定义概念），在理论的真空中考察概念与其度量变量之间是否一致，属性有效性是内部的。•基于预期的概念建构有效性。指对概念的度量是否与根据理论推演出的预期结果一致。基于预期的概念建构有效性可看作是外部的。属性有效性•属性有效性包括：表面有效性（FaceValidity）；内容有效性（ContentValidity）：会聚有效性（ConvergentValidity）；差别有效性（DiscriminantValidity）广义的属性有效性还包括可靠性（Reliability），可靠性指度量在何种程度上避免了随机误差，可靠性是有效性的必要条件。表面有效性和内容有效性•表面有效性是指由一组专家做出判断，确定一种度量方法是否确实度量了它名义上要度量的概念。表面有效性评估是个主观过程，但它通常是有效性评价的先决条件，观念度量多数情况下必须首先通过表面有效性检验。•内容有效性指度量是否包括了足够有代表性的项目集来度量基准概念。度量方案中的项目越充分地代表了待测概念的概念域，就越具有内容有效性。会聚有效性•度量同一概念的不同方法之间的重合程度用会聚有效性（ConvergentValidity）表示。•会聚有效性表明用不同方法度量同一概念所得出的度量结果的相关程度。反映使用不同方法度量同一概念所得出的度量结果之间的一致性。•不同度量方法有着互不相关的不同的误差来源（理想状态下，不同度量方法之间应不具有共同的干扰因素），但度量同一概念的不同变量应高度相关。差别有效性•度量不同概念的不同方法之间的差异程度用差别有效性（DiscriminantValidity）表示。•差别有效性反映拟度量不同概念的变量之间不相关的程度，表明了拟度量不同概念的变量在何种程度上度量了相异部分。•度量某个概念的变量不应与度量不同概念的其它变量相关，否则可能说明该变量和其他变量度量了共同的其他内容而非该变量希望度量的概念。基于预期的概念建构有效性•基于预期的概念建构有效性包括：•维度有效性（DimensionValidity）•理论有效性（NomologicalValidity）•相关标准有效性（Criteria-RelatedValidity）维度有效性和理论有效性•维度有效性指度量结果显示的维度是否与理论对概念界定的维度认识一致。•概念作为理论的构件，根据理论的定义和推演，与理论中的其他概念形成一系列的相互关系。理论有效性是指用于度量的操作变量之间的关系是否与理论中描述的相应概念之间的相互关系符合。相关标准有效性•某些度量能够（或者其目的就是）对某些相关变量（称为标准变量）做出推断和预测，相关标准有效性指度量结果是否有助于推断或预测其它的相关变量。•例如，对新员工考试是为了预测该员工未来的工作绩效。如果发现在考试成绩与工作绩效之间确实存在较高的相关关系，则该度量具有相关标准的有效性。•对应于相关标准变量发生时间在过去、现在和将来，相关标准有效性又分别称为：历史有效性（PostdictiveValidity）；并行有效性（ConcurrentValidity）；预测有效性（PredictiveValidity）。评价概念建构有效性的思路•度量同一概念的不同变量间应具有高相关性。–所有操作变量与概念有关的部分称为公共核。如果所有变量都来自同一个概念域，则这些变量的度量结果应该高度相关。当随机误差为零时，它们应完全相关。•度量不同概念的不同变量间应缺乏相关性–度量某个特定概念的变量不应与度量不同概念的其他变量相关，否则可能说明该变量和其他变量都具有共同的系统误差。–如果度量同一概念的变量中有某些变量不是来自正确的概念域。不同变量的度量结果之间相关性必然低。如果某变量完全不能度量目标概念，假定不同变量包含的系统误差来源不同，该变量与其它变量的度量结果应完全不相关。评价概念建构有效性的要点（1）明确目标概念的外延及维度，明确与概念有关的可观察变量的范围，哪些变量可以度量目标概念，各个变量分别可以度量目标概念的哪些方面，以及各个变量可能反映哪些目标概念之外的内容；（2）通过经验研究和统计分析，确定不同度量方法在多大程度上度量的是同一抽象概念，或者在多大程度上度量的是不同概念。（3）通过控制性实验和调查研究等方法，确定与概念对应的变量产生的结果在何种程度上与和该概念有关的、并与得到广泛认可的理论结论相一致，度量是否与预期的结果相符。会聚有效性评价•科学研究的一个基本原则是任何特定概念应该可以用多种不同方法分别度量。否则研究者无法知道测得的结果是基准概念还是度量过程本身的产物。•度量的会聚有效性说明用不同度量方法度量同一概念的度量结果在何种程度上共同变化（ConmonVariance），•会聚有效性要通过判断不同度量方法的度量结果之间是否具有高相关性来评价。差别有效性评价•差别有效性表示对一个新概念的测度在多大程度不是由测度变量与别的变量的相关性导致的。•差别有效性要通过判断该度量方法与用来测度不同概念的其它方法之间是否缺乏相关性来评价。•用来评价会聚有效性和差别有效性的常用方法是多属性－多方法矩阵。该矩阵的元素表示分别用不同的方法对不同的属性进行度量的结果相互之间的相关系数。产生多属性多方法矩阵的方法和属性应该尽可能独立。会聚有效性和差别有效性评价举例•为了测度学校教师对MBA教育的看法，设计一种书面问卷进行抽样调查，问卷的项目是向被访问者提问对开展MBA教育所带来的各种影响的态度，如MBA教育的社会影响、开展MBA教育对学校地位的影响、MBA教育对学术研究的影响等，用1分到7分别表示从不满意到满意，各项得分加总作为受试者对MBA教育的测量值。为了评价该度量的会聚有效性和差别有效性，引入另外两个概念：对学校住房制度的态度和对校园环境的满意程度，同时采用不同的度量方法（如访谈或电话采访）。多属性－多方法矩阵方法1方法2对MBA的态度对住房制度的态度对环境的满意度对MBA的态度对住房制度的态度对环境的满意度对MBA的态度①0.896对住房制度的态度②-0.2360.670方法1对环境的满意度-0.356-0.0750.817对MBA的态度③0.450④-0.082-0.054对住房制度的态度④-0.2440.395-0.142②-0.147方法2对环境的满意度-0.252-0.1410.464-0.170-0.289多属性－多方法矩阵说明•矩阵元素表示分别用不同的方法对不同的属性进行度量的结果之间的相关系数。矩阵由4种元素分块组成，分别在分块左上角用数字标识：①可靠性对角；③有效性对角；②异属性－同方法三角形；④异方法三角形。•通过分析各分块中的数据可以对度量的可靠性、会聚有效性和差别有效性进行评价。多属性－多方法矩阵说明•可靠性对角①中的数据反映了用方法1对三种态度分别度量的可靠性。它表示用同种方法对同一属性进行多次度量时，测度结果间的相关程度，也可以用显著性水平参数α代替。•有效性对角③描述了度量的会聚有效性，即：使用不同方法度量同一概念所得出的度量结果之间的一致程度。相关系数显著