新产品可用性测试管理工作的步骤

新产品可用性测试管理工作的步骤公司要保持竞争力，必须让产品更易于使用，但经理们可能不会因此就雇用人因学或可用性测试方面的专家，因为他们看不到其中的价值，那么你怎么办?你可以主动出击，实施一个可用性测试使这些心存疑虑的家伙们信服。即使你没有心理学、人因学的背景或者缺乏测试经验，哪怕没有足够的预算甚至没有实验室，都没有关系。遵循以下的基本方法，不需要投入太多也可以完成一次象样的可用性测试。成功的可用性测试，有十步：1)做好准备工作;2)制定测试计划;3)设计测试过程;4)安排测试地点和设备;5)进行预测试;6)招募用户;7)准备测试房间;8)测试;9)数据整理和分析;10)付诸行动。1.做好准备工作这里的信息并不是经验和培训的替代品，但可能会对你有一些帮助，让你成为一个可以胜任的测试人员。第一步就是武装自己，有很多可以利用的资源：·书籍和文章学校的书店和图书馆，包括一些专业的期刊，它们是书籍和文章的最好来源。至少，你需要一个统计方面的介绍性材料、与测试有关的资料和人因学/人机界面设计的书。·研讨会过去的五年中，关于可用性测试的文章种类越来越多。在可以寻求帮助的四种方法中，这个通常是最薄弱的，因为大部分的研讨会是理论性的。你需要的是约10%的“为什么”和90%的“怎样做”，而研讨会常常不是这样的。另外，参加研讨会往往费用较高。·咨询咨询可能比研讨会来得合算，但是也有可能得不偿失。最有名气的公司可能并不适合你。例如，请一位在大学里面的人因学专家来做顾问，她会评估整个的测试过程，对记录测试数据的方式提出很多有效的建议，在预测试中指派一名研究生一起来控制整个过程，整个下来花费不多。·大学和学院大学里提供了两样东西，课堂和教授。回到学校可能是你最不想做的一件事，但从一个人那里学习统计比从书本自学要容易得多。如果你的公司不需要你得到纸面文凭，那么你就可以旁听，可以通过也可以不及格。可以直接与心理学和计算机科学的教授谈论与可用性测试相关的课程(统计学、测试、人因学、人机界面设计)。如果你愿意也可以参与一个与可用性测试有关的硕士生项目。就像请顾问一样，教授的建议同样是丰富的资源。例如，你可以设计一个测试项目作为课程作业，教授就会帮助你并且可以减少花费。2.制定测试计划对可用性测试有所了解之后，下一步就是写测试计划。描述可用性测试的目的，以及如何来完成，这很重要，原因如下：一是从管理者或其他人那里得到你所需要的支持;一个是使你的思路和目标变得清晰。测试计划中要包括：·为什么要测试对管理层陈述需要花费时间和金钱的理由。例如：如果用户使用简版的手册，可以达到与现在使用的大部头手册同样的效果，我们就会减少打印手册的费用，如果效果更好的话，我们就可以减少客户服务中心的线路数量。·如何测试谁主持，测试内容是什么，测谁，几名用户，如何分组等。·测试的花费咨询费、招聘用户、用户报酬、录音、录像、租场地、印刷等费用。·测试的时间安排时间表包括：定义你的测试，设计测试，安排测试地点和设备，招聘，测试和分析结果。·测试会持续多长时间写一个时间表，包括：定义你要测试的任务，设计测试本身，安排测试地点和设备，招募用户，测试，分析结果。3.设计过程·定义用户群你的测试用户必须能够代表用户群。考虑的人口统计学特征有：教育水平、使用经验水平、工作类型、年龄、性别、种族、身体条件等。·定义想测试的内容没错。但还是要确保绝对清楚哪些要测和哪些不测。内容越详尽，得到有效测试的机会就越大。还要定义如何度量测试得到的数据，如完成时间和成功完成的任务数。·写任务考虑组成一个包括多个部门代表的小组来选择任务，例如客户支持部门可能会对关键任务有不同的看法。任务应该是有意义的，以一定的逻辑顺序展现给用户，同时还要控制每个任务的完成时间，不能让用户把所有的时间都花费在一个任务上。在每一页纸上写下一个任务。任务的指令要明确但不能有提示如何完成任务。·为测试人员写脚本以同样的方式问候用户，以同样的方式解释测试，以同样的方式回答问题，以同样的方式进行提示等等。为了做到这点，需要为测试者制定执行的脚本。·准备记录表格即使录像，也要在当时记录用户的行为。如果有一个记录表格，记录就会变得容易。可以有一个和用户任务相符的表格来记录用户行为和你的理解。第二种表格可以是菜单结构图，用来记录用户试图完成任务时的动作顺序。另外需要记录的是每个任务的完成时间，在哪些地方使用了帮助，在哪些地方参考了用户手册4.安排测试地点和设备可以在用户的地方或在自己的实验室里进行测试，也可以是一个更中立的地方。在用户的地方有一个好处就是用户会因为熟悉周围的环境而感到放松。缺点包括：不可控制的中断;在路程上花费很多时间;调试你的设备等。在自己的实验室进行测试应该是方便的，但是对用户来说不太方便，他们在一个陌生的环境里面可能会比较紧张。在中立的地点进行测试的缺点与在你自己的地方测试是一样的。对你来说它也可能不方便(尤其是如果需要运送设备的话)。中立的测试地点可能即昂贵又难于安排。对我们来说，采用一个现场的会议室最好。如果你使用你的一个房间，要找一个靠近出口也靠近休息间的房间。房间要整洁，吸引人，舒适(确信要在门上挂上“测试进行中—请勿打扰”)。5.进行预测试无论你自己重复多少次测试过程，你都不会对一个测试需要多长时间有准确的估计，只有用一个新手用户进行预测试，你才能知道一些小的细节。这个人不需要与测试用户具备相同的特征，但他/她应该是产品的新手用户。6.招募用户如果比较早地招募了用户，他们就可能到时改变主意或者遗忘，所以不要在提前一周以上招募用户并确保在前一天给他打电话确认。把完整的测试地点的方位，包括地图用邮件或传真的方式发给他们。因为你占用了用户的时间，并且你要确保他们出席，就要支付他们报酬-现金。在测试之前告诉人们测试需要多长时间和需要对整个过程录音，录像。·标准定义你需要的用户的经验、技能、教育程度、工作类型和其它的统计资料。然后准备一个访谈脚本来筛选潜在的用户。大学生不会计较，很容易找到他们，费用也比较少，但如果他们不能真正代表你们用户特征的话，就不要管他们了。·自己来做不要招募朋友，家人或者同事。要做专业的招募工作：在国家字典、商务期刊和黄页里面找到一些公司(公开的图书馆里可能也会有这些)。你应该一个在你建立的标准里面有不同业务的混合。这有一个脚本的例子让你通过回答电话筛选用户。“你好，我是简，是真大公司的，是大镇的一个计算机生产商。我们正在设计某个新的PC产品。我想与您公司里面用电脑工作的人谈一谈，有哪些人呢，他们的职位和名字是什么呢?”当你得到这些人的资料的时候，他们是否合格是基于筛选脚本的。例如，我们想要有PC经验的人，曾经使用过传真机。我们也想要多方面的人员—职员类型的，管理的、技术的和专业人员类型的，所以我们要为此制定筛选脚本。如果一个人可以满足你的这些标准，就可以邀请他们来参加这个研究。告诉他们需要多长时间，在哪测试，你会给他们多少报酬，你会对整个过程进行录像。如果所有这些条件被接受了，就可以安排时间了。要确保在两场测试之间有足够的时间来调试设备。·给招募者支付一定的费用如果你的预算足够用，你可以雇佣一个招募者来招募用户。为我们的焦点小组来招募用户的费用是15个用户，478.14美元。这个费用包括：他们来制定筛选脚本(我们要检查和核实)，筛选用户，安排时间，发出指引和确认信，并且在约定好的前一天给用户打电话。相信我，花这些钱是很值的。7.准备测试房间如果你在测试前一天建立了测试间，你就有时间来改正操作时出现的问题。在任何情况下，要在每一次测试开始之前至少有半个小时的时间来保证测试已经准备好了。当可以挣到相当数量的钱时，人们通常会早些到。8.测试用户在心理和身体上的适应会影响测试结果，并且你的所作所为直接影响到他们—镇静和配合或者紧张和敌意。·问候用户在用户刚进来的时候就以友好的口气与用户交流，如果他们提前到了就为他们提供一个合适的地方来休息等待。如果用户太热或太冷的时候可以调节测试间温度，这些会很有帮助。·给用户大致介绍并得到许可你在引导可用性测试，不是心理学测试，所以告诉用户你的目的是什么，他们要做什么，为什么你要进行录音或录像。强调你测试的是产品，不是用户;他们所反映的是关于产品的问题，不是他们的问题。因为你想知道的是为什么用户做某件事，不只是要让他们做，还要鼓励他们在完成任务时大声说出想法。鼓励他们在完成一个像安装一个订书器这样的简单任务时，通过描述行为来说明他的想法(用户经常在测试过程中慢慢地就沉默了，可以轻轻地提示他们“你在想什么?”而不要说“你为什么这样做?”)然后让他们签订一个同意表(知情书)。知情书可能会包含上面所有的信息，你可以对用户大声地读，最后一段应该包含类似于这样的信息：“帮助我们评估结果，我们将要对整个过程进行录像，作为我们整理数据的备份之用，所有的录像不会用于商业目的，只是作为帮助我们分析结果之用。”·执行测试把写好的任务交给用户(一个任务一页)，邀请他/她完成你大声读出来的任务。你不能总是在用户完成任务的时候告诉他，有时他们并不确定他们已经完成了任务，会继续做下去(或者在还没有完成任务时认为他们已经完成了)。这个信息是有价值的，因为这告诉你界面缺乏足够的反馈。你也想要用户回到一个自然的开始状态，所以他们要在软件的同一个地方开始下一个任务。所以可以在每个任务中包括一些类似于“在完成任务时说出来，并回到主菜单”的描述。让用户自己来说出自己的想法，但当他们遇到困难时，可以提示他们。因为你不想他们因此沮丧，而在完成后面的任务时受到消极的影响。在测试脚本中也要使用提示。即使你要掌握测试的时间，也不要让时间成为问题并且不要告诉用户有时间限制。当他们已经达到测试时间时，要提示他们结束这个任务(如果他们实在不能完成，清楚地告诉他们如何回到开始的地方)，进行下一个任务。如果你有一个大房间，或者会有一或两个测试人员在单面镜后面，考虑让两个或更多的测试人员/观察人员来参加。如果两个人能记录不同的内容就会容易些。例如，一个人可以记录用户选择的菜单项的顺序，哪些地方及什么时候使用“帮助”，另外一个人可以记录完成单个任务的时间，测试者给予的提示和任务是否成功完成了。如果多个测试人员会增加用户紧张感的话，可以让一个观察人员在测试后花费额外的时间来回顾录像。·用户总结性的描述测试后，你可以询问用户对产品的印象，他们在哪些地方会感到困惑，有哪些可以使产品更容易使用的建议，等等。9.数据整理和分析在测试过程中你不可能记录所有的事情，即使你有两份记录。这就是为什么要对测试进行录像的原因，就是为了再次观看录像(可能要一遍又一遍的看)直到你获取了所有需要的信息。下一个步骤就是分析结果：计算完成每个任务和完成每个测试的平均时间，每个用户使用帮助或参考手册的次数，提示的次数，任务是否成功完成对你来说都是重要的信息。所以，你已经得到了所有这些信息，应该可以支持你的假设。但是在你得到结论之前，要使用统计方法分析数据。如果你没有统计的背景，可买本统计学的书学习一下或者找一个专家来帮忙。在没有进行统计分析时，说两组测试结果之间存在很大的差异是没有意义的。不仅得出的显著度结果和提出的建议是不可靠的，而且如果测试结果不支持一般的用户群体的特征，你和可用性测试都意味着失去了可信度。一种比较廉价的获取帮助的方式是与一位教授一起组成团队。他会给你一些关于适合你的数据的统计方法或帮助你完成这些统计测试结果。10.付诸行动无论测试结果支持你的假设与否，你都可以从中获得经验，提出建议或实现计划。例如，我们了解到，在两个测试组之间没有显著地差异，在线帮助没起到作用，因为它没有导航。通过这样的信息，我们就可以用最精简的手册(减少印刷费用)来重新设置标准手册，重新编辑帮助界面。然而，从测试中得到的最大的利益就是它的长期影响。对于决策者来说，尤其是在一个工程的环境下，他们对数据是印象深刻的。另外一种非常有效的表现用户使用软件存在的问题的办法是展示用户测试中最让用户困惑的一段短的视频(美国有最搞笑的可用性测试录像)。因为已经了解了可用性测试的价值，