采用第三方对市场调研项目进行监理和评估的必要性和解决方案

1采用第三方对市场调研项目进行监理和评估的必要性和解决方案内容提要：如何提高和保证中国市场调查业的整体服务质量，这不仅是众多调研公司应该关注的问题，也是牵涉到企业利益的核心问题。当前，就企业而言，引入熟悉调研项目运作的第三方监理机构，对调研公司的调研项目进行客观公正的评估和监督则显得非常必要。本文站在企业的角度，就市场调研项目评估与监理的意义、目前市场调研中存在的问题以及如何进行监理等问题进行了初步探讨，借此抛砖引玉，以兹企业借鉴。关键字：市场调查问题分析评估与监理中国的市场调研业产生于80年代中期，她是伴随着市场经济的确立而逐步成长起来，到去年已达到了32亿元人民币的市场规模，并且从近几年看，每年都以50%以上的速度增长。但是，目前的中国市场调研业，面对的不仅仅是市场经济为她创造的良好发展机遇，更有现实带给她的不尽困惑与挑战。例如，企业和调研公司双方之间存在着严重的信息不对称的情况，在调研的方案设计、现场执行、数据处理分析及最终取费等方面都大量存在着企业无法监控到的不规范行为，这也极大地影响了调研服务的质量。而市场调研质量的高低将直接影响到企业决策的正确与否甚至给企业带来不可估量的损失。由此看来，对调研公司的调研项目进行公正的评估和监督对企业而言是非常必要的。但是，企业自己对项目进行评估和监理却存在许多限制和弊端。本文中所提到的调研项目评估和监理就是根据一整套严密的质量控制体系，包括比较详细的项目质量控制工具和指标，从调查项目的设计、执行、到项目的最终完成，由一个熟悉调研项目运作的第三方监理机构遵从独立、客观、公正的原则，对项目进行全过程的监控和评估，从而达到控制和提高项目质量的目的。一、采用第三方监理机构进行监理的意义实际上，采用第三方监理机构帮助企业对调研项目进行评估和监理给企业带来的好处是显而易见的，除了能以第三方客观、公正的立场保证调查数据的质量外，至少还能为企业带来以下几点好处：21、减少调研项目投资风险企业的项目负责人应该关注的是在问题和隐患发生之前的提前预警，毕竟未雨绸缪的意义要远远大于秋后算账。利用熟悉调研项目运作的第三方监理机构帮助企业进行果断的判断和决策，提示可能出现的问题，无疑可在一定程度上规避项目失败风险。2、减少纠纷，确保项目质量、进度和成本在现实中，调研项目的进程中，企业方面往往会由于诸如来自上级领导的压力等原因而对项目进度提出应急性要求，以服务于上级需要；另一方面，又对于因赶时间而造成的项目质量问题，责任难以界定。此时，如果有第三方按照公正、公开、公平的原则对其提供的方案及项目实施结果给予公正、恰当、权威的评价，向项目各参与方说明项目质量、进度和成本方面存在的问题，并尽量说服各方完善弥补方案，可减少不必要的纠纷。同时，监理方也可为企业减少与调研公司沟通所耗用的时间和人力，减少成本。此外，目前一些企业在市场调研方面，为了保证数据质量，通常的做法是同时请几家调研机构同时操作，以便进行数据比较，或者产生疑问时重新操作一次。这样的做法浪费了大量的成本和时间，不利于适应目前快速变化的市场环境。通过第三方的评估与监理，利用很少的成本，提高每一个项目每一个环节的质量，这样，将在总体上大大降低企业的调研成本和时间。3、弥补企业在人力资源和经验上的不足由于一些企业中专门从事市场调研的人才不多，这就使得企业和调研公司在项目开展过程中存在严重的信息不对称问题。企业往往不知道调研公司在技术方面是否能达到要求，出现问题不知采取何种对策，而第三方监理机构则在这些方面弥补了企业人力和经验方面的不足。4、有利于调研机构更好地为企业提供服务对于市场调研公司来讲，监理的第三方立场，同样能帮助其规范执行步骤，提高专业化水平，在项目实施中发现问题，提出建议，无疑可帮助他们更好地完成项目，从而使调研项目的结果更有说服力。3二、目前市场调研中存在的问题一般来讲，专项的市场调研可分为：问卷设计、抽样方案设计、调查现场执行以及数据的处理与分析等几个阶段，那么，目前在这些阶段中都有可能存在哪些方面的问题呢？在此，让我们做一个粗略的考察。1、问卷设计问卷设计是市场调查中非常重要的一个环节，它是影响调查质量的关键因素之一，问卷设计的质量如何，将直接关系到调查的成败。在设计调查问卷时，必须确定问题的内容、提问的方式与顺序。在这一阶段有可能产生的问题主要有：问卷的信度与效度不高（这包括：问卷中题目的位置设置不当，被调查者不能真正理解问题的意图，某些问题的用词有诱导性等等），问卷太长，或是问卷一开头就是些难以回答的复杂问题或敏感问题，不能和被调查者建立和谐的气氛等。2、抽样方案设计在抽样方案的设计阶段可能产生的问题有：①抽样框不够完善，从而使调查估计产生偏差。具体来讲，这包括：丢失总体元素及包括非总体元素、不正确的辅助信息、抽样框陈旧；②不使用抽样权数可能导致调查估计值有偏。③增大样本容量可能使非抽样误差增大。④总的样本容量可能已满足对总体估计量的精度要求，但是对那些重要的小区域（子总体）的估计量的精确度却不符合标准⑤可能没有计算或是没有给出调查估计值的统计精确度，让人难以了解估计值的好坏程度。3、现场调查执行4在调查项目执行阶段主要可能出现的问题有：①没有严格的监控手段或措施避免访员的作弊等问题。②拒访等无响应样本产生的误差。③提问引起的误差：指访员在向调查对象提问时因所提问题的内容、表达方式、时机掌握等不当引起调查对象回答问题产生的误差。④问卷记录引起的误差。⑤自填式问卷的指导可能说明不清楚，使回答者产生误解。或是欺骗性误差。⑥没有进行小规模的预调查。4、数据处理与分析从工作程序上看，数据处理具有承前启后的作用：在现场调查之后，对数据进一步加工；在报告撰写之前，为报告结论提供数据依据。而数据分析是一项技术性非常强的工作，不同的项目涉及到的分析内容也大相径庭，因而采用的统计方法也不一样。在这一阶段可能出现的问题包括有：①分析文件可能不包括满意地完成一组分析所需的所有变量。（比如，无自变量）②在构造分析文件时，某些问卷项目可能不能连接起来。③对调查结果的解释可能是错误。④最终的报告可能遗漏了调查中出现的一些重要的程序问题，因此很难对总体质量进行评价。三、如何对市场调研项目进行评估与监理1、对问卷设计的评估与监理1）对问卷的信度和效度的考察5对于任何一份消费调查问卷来说，都会涉及到以下三个基本问题：一是被调查者回答所得的数据和资料是否符合调查者的要求？二是调查所得结果是否是调查者所希望调查的东西？三是当调查访问的时间、地点和调查员发生变化时，对测量的结果会有什么影响？这就是问卷的信度和效度问题。所谓信度，就是指对同一事物进行重复测量时，所得到的结果的一致性程度。一致性程度越高，信度越高；反之则信度越低。实际上，信度是考察问卷的具体问题设计的合理性。举一个极端的例子，我们要研究电脑价格与收入的关系，当测量一个人对一台电脑的期望价格时，同一份问卷同一个人，前天测量结果为8000元，昨天测量结果为1.2万，而今天测量结果为4000元，这说明，所用的问卷问题一定有毛病。所谓效度，就是一张问卷真正测量的内容就是我们想要了解的内容的程度。实际上，效度是考察问卷设计的准确性。例如，我们要研究汽车价格对汽车预期销量的影响，研究前把测试者分成三个组，一个组价格较低，一组较高，而另一组价格不变，假定其他条件完全相同，用一份价格测量表对三组人进行测量，这样得出的结果肯定能够反映出汽车价格对汽车预期销量的影响程度；然而，如果我们用一份关于汽车性能的问卷进行测量，那么我们考察的只是公众对汽车性能的关注，而达不到测量价格对销量影响的目的。需要强调的是，一份问卷的问题和答案的设计越能在一致性和准确性上表现突出，也就是说信度和效度越高，就越是一份好问卷。研究者透过信度与效度的检验，可以了解测量问卷本身是否优良适当，以作为改善修正的根据，并可避免做出错误的判断。信度的评价指标是信度系数。估计信度的方法有：重测方法、复本方法、折半方法等。效度的评价指标是效度系数。根据测量的不同角度，又可分为：表面效度、内容效度、结构效度等。2）对问卷其他方面的考察除了信度与效度外，还可以在以下几方面对问卷进行考察：①问卷尽可能简短，其长度只要足以获得重要资料即可。②问卷题目的设计要依照心理的次序安排，要符合编题原则，让填答具有逻辑性。6③问卷所收集的资料，要易于列表和解释。④问卷的指导语或填答说明要清楚，使填答者不致有错误的反应。⑤问卷的编排格式要清楚，指示符号要明确，不致有瞻前顾后的麻烦。2、对抽样方案设计的评估与监理1）抽样框调查中的抽样框的确定，以及其中的任何缺陷会影响调查的总误差。对抽样框的选择必须建立在这样的基础上，即评价构造和使用该抽样框的费用和采用该具体抽样框时调查估计值的总误差。对于抽样框中丢失总体元素的情况，可采取与外部数据比较、反记录检查或双记录系统以及质量检查法等进行测定；对包括非总体元素的情况，则可采取直接法、间接法和抽样法等进行测定。2）样本量的确定样本量的确定是组织抽样调查中需要解决的一个重要问题。在这里，需要监理和控制的因素包括：企业计划支付的费用、被调查对象标志的差异程度、允许误差数值的大小、调查结果的可靠程度、抽样的方法、抽样的组织形式等。此外，对于样本的代表性也是我们要加以考虑的，即考察总体中的每一个个体是否都有同等的机会被抽中。3）抽样方法的选择占有完备的抽样资料是设计完成一个好的抽样所不可或缺的。但是抽样资料占有到何种层次、完备到何种程度，要看采用的抽样方法是什么。抽样方法有多种，选用何种抽样方法一般要看调查什么、预算多少、精度要求多高以及统计上的或操作上的条件等因素决定。对某些调研问题，要求对总体特征有很精确的估计，这就需要消灭选择偏差并能够计算抽样误差，因此，最好采用概率抽样。不过，概率抽样也不是总能得到更精确的结果。如果非抽样误差可能出现并比较大的话，那么用非概率抽样也许更有利一些。74、对项目执行阶段的监理对项目现场执行阶段的监理是整个监理过程中的一个关键环节，因为它直接影响着数据采集的质量及最终的分析结果。在此，制订一整套严格的监控措施是做好这项工作的关键所在，这些措施应包括：现场监理工作管理制度、项目质量等级评定监理实施细则、项目进度监理实施细则等及相应配套的各类评估表格等，以杜绝访员的作弊行为及不按程序要求进行调查等问题。5、数据核查与分析阶段的监理1）数据核查数据核查是指检查、询问和适时更正数据文件中无效数据的过程。编辑检查是在已经完成的表格中对一项或一系列项目进行范围和逻辑检查，检查出可能错误的过程。根据对表格的手工和计算机检查，提出关于可疑数据的准确性和完整性的问题表，要求产生数据的一方进行核对并答复。数据处理中心的研究人员根据答复对表格和电子文件进行修改。监理的内容应包括：受试者鉴别和记录之间的关系、表格的可接受性、表格的一致性、数据范围和不可接受的编码、缺失值等等。其中对缺失值的考察的指标应包括：拒访、记录失实、漏报、数据录入遗失等所占比率的指标。2）数据分析的监理统计分析的质量是与方案设计、实施和数据管理密切相关的。就统计分析本身而言，指导思想是看有无误导性的统计分析，这包括：标准统计学分析方法的应用；统计检验的功效（把握度）；P值检验及可信区间运用的正确与否；统计学试验设计的遵循程度等。结束语在对上述各阶段的内容进行分析的基础上，笔者曾提出了对市场调研项目进行全面评估与监理的一个大的框架，这个框架是将调研分为问卷设计、抽样、数据搜集、数据管理、数据分析和报告等六个阶段，再对每一阶段按照严格度、中立度、平衡度和透明度四个维度进行评测，这样，就构成了由一系列共61个指标所组成的一个质量评估表。对这些指标进行分阶段地作相应的评估，最终得出的即是对一项调研项目整体的评估。这一8做法能够使我们从整体上更加直观地看到市场调研项目评估与监理各阶段及总体的最终结果。