APP测试功能&解决方案

APP测试功能&解决方案•自2006年起，开始进入手机应用测试领域，2014年，手机应用测试成为核心竞争力之一。•建立了基于不同行业和复杂商业订单的测试实践。测试服务综述一站式全方位测试解决方案针对客户的具体需求提供契合的测试并遵循定义明确的流程管理稳固的监管，度量和沟通框架承诺创新并降低成本，提高质量和生产力并缩短产品上市时间专属自动化测试以及性能测试的测试实验室不仅可以提供专业的手机测试人员，还能提供用于测试的部分手机设备关键附加值–合作方式现有300多个项目分别涉及多个行业包括：银行、运营商、电力、零售、软件开发等；灵活的合作模式：多工作地点-客户现场或者远程交付,固定人员或者根据工作量灵活增减人员。客户及项目概况–测试流程及工具–测试清单及模板–测试审核及报告标准化管理内容目录1234APP测试介绍APP测试解决方案服务的价值案例分享APP测试需求和挑战应用数量爆炸式增长，用户使用时间变短•更快的开发速度•更频繁的需求变更•更短的测试时间用户体验测评APP测试的类型手机应用功能性测试功能测试界面测试场景混合测试交叉事件测试非功能性测试性能测试兼容性测试安全性测试专家评估竞品对比分析APP测试的特点•移动设备、系统和更新周期•更多的尺寸和屏幕分辨率•每24个月移动设备就会更新换代，在2015年就有近1500种设备上市•更多的实际场景和交叉事件因素需要考虑•多种事件的同时发生交互，不同网络下使用，离线使用和不同网络间切换等•用户体验将更为重要•易用性测试•可用性测试•性能测试ExternalSystemsDevicedetectionSecurityComplexsystemsintegrationCustomerProfilesanddataAuthenticationDatabaseAccessPerformance/LoadWebServices30%ProjectEffort70%ProjectEffortCustomerScenariosAPP测试的痛点•APP需要适配市场上主流手机•APP测试类型多样，测试范围广，可能出问题的地方多•APP版本迭代快，需要快速完成测试•缺乏有经验的测试人员，特别是有APP测试经验的测试人员•难以收集客户反馈和体验数据产品质量差增加成本拖延了上线周期流失用户内容目录1234APP测试介绍APP测试解决方案服务的价值案例分享APP测试的流程手机APP测试流程–端到端的测试周期测试报告确认移动端类型测试执行制定测试策略准备环境数据测试用例设计确认测试需求执行阶段计划阶段准备阶段定义测试范围制定测试计划确认测试策略确认测试工具工具用例产品解决方案掌测APP测试中心测试中心配备设施•几十余款真机设备及大量模拟器结合使用•云端测试服务器及各种手动&自动化&性能测试、管理工具采用标准流程及质量管理•测试策略及计划•测试用例设计•测试执行•测试报告•测试缺陷报告及追溯•风险控制和分析成熟的测试方法：实施各种类型的移动测试•功能测试•自动化测试•性能测试（应用前端，系统压力）•兼容性测试•用户体验测试•安全测试•功能性、非功能性需求•预算•测试周期•测试计划、测试用例、测试结果•缺陷报告及风险分析•自动化及性能测试脚本•可用性问题及改进建议•全生命周期的测试方法论•全测试质量保证方法、测试计划•优化方法测试案例设计方法•敏捷迭代测试方法10客户提供测试交付端到端的移动测试测试是一种服务需求获取途径•用户场景（UserStory）•测试策略&咨询交付方式•现场•远程•其他测试方法•业务驱动测试•敏捷测试•迭代•风险控制和分析测试准则过程控制最佳实践生命周期管理功能测试•功能探索测试•真实场景测试•交叉事件测试•回归测试非功能性测试•性能测试•压力测试•安全测试用户体验测试•可用性测试•竞品对比分析自动化测试•功能性测试•非功能性测试•用户接口其他•稳定性测试•特殊测试全面的测试工具及开发平台：任务管理工具（Tower）性能测试工具（APT，GT）自动化测试工具(Appium，Robotium)测试管理、缺陷管理工具(TestLink，mantis)Tools支持基础设施云端安卓、苹果真机及模拟器APP的用户体验测试产品客观质量用户为什么要用你的产品？什么用户会使用？你的产品为用户解决了什么问题？什么情景下用户有这种需求？你的产品如何解决这个问题/需求？市场定位目标用户需求功能性能交互视觉附加值(品牌、乐趣)用户主观感知爱用情感态度易用能用要用认知行为需求降低产品的风险用科学系统的研究方法，降低产品开发的风险以用户的视角思考方案站在用户的角度，发现亮点、解决问题节省开发成本解决现有产品的问题，通过低成本的测试避免后期开发错误通过观察真实用户的使用发现可用性问题。可用性测试零距离挖掘用户对产品的想法和感觉。焦点小组通过严谨的实验设计对比两个备选方案。A/B测试精准了解用户群体对产品的满意度。满意度调研梳理产品功能的重要级别。卡诺模型基于后台数据分析用户操作习惯。用户行为分析用户体验专家的全面评估。专家评估全方位扫描产品相对竞品的优势与短板。竞品分析聚焦典型用户。用户画像为中小型企业量身打造的轻量化测试APP的用户体验测试竞品分析层次产品对比外部数据对比表现层视觉设计•市场占有率•用户数量•活跃度•转化率框架层导航、界面、信息结构层交互设计、产品架构范围层核心功能和服务战略层产品定位、目标用户、发展策略、盈利模式认知走查法通过分析用户执行特定任务时的心理加工过程来评价用户界面。任务走查法按优先级走查所有用户任务，根据可用性原则评估产品。启发式评估法遵循UX相关准则，由专家模拟用户对产品进行体验，查找问题点。用户体验评估•用户清楚目标是什么吗？•用户能注意到正确的操作方式吗？•用户能将操作方式与目标联系起来吗？•操作之后能得到合适的反馈吗？•完成任务之前需要具备什么知识？•完成任务时需要学习哪些知识？列出产品的所有任务评估优先级根据可用性准则走查记录影响任务完成的问题任务走查法发现当前产品存在的用户体验问题发现潜在的用户体验提升点提出备选解决方案启发式评估法认知走查法准备定义用户群选择样本任务确定正确操作序列分析任务是否成功记录问题和原因总结任务关键信息后续反馈问题提供改进建议认知走查法分析实例APP的功能测试–方法流程需求分析功能测试测试工具需求、计划、用例管理工具自动化功能遍历工具需求分析工具缺陷管理工具需求文档分析：•功能点整理•业务流覆盖•交互场景设计两大核心方法测试方法真实场景交叉事件四类核心指标功能覆盖风险保障体验提升功能组合需求分析，建立需求追踪表，对功能和相应用例可跟踪追溯；结对测试，缺陷双重验证；缺陷关联用例，可追踪缺陷状态变化；结合可用性测试，分析定位不合理的功能实现，提出改进建议，提高用户体验满意度；全面细致的测试方法手册，保证测试一致，覆盖全面深入测试过程测试分析/测试计划需求追踪表/功能分析导图/功能业务测试用例测试策略/测试计划/测试测试执行/测试结果缺陷记录/测试进度报告/测试测试产出测试需求测试需求沟通：•业务理解•功能点整理•需求文档化产品分析：•探索体验•功能点导图化•常见测试点APP的功能测试–实践用图形结构的方式，列出相关内容，并表示出内容之间的关系，并显示出重点和核心导图功能内容相关，结构清晰，关联清楚测试需求导图分析用例导入TestlinkTestlink管理123使用导图将内容导出为测试用例将测试用例导入到Testlink为测试用例集每次测试时新增测试计划添加所覆盖的测试用例将测试用例分配到指定测试人员执行测试思维导图导出测试用例导入Testlink分配测试用例APP的功能测试–缺陷记录及统计报告Testlink缺陷记录，进度管理1Mantis缺陷管理，统计报告2测试执行过程中，失败用例可以新建缺陷，在缺陷管理工具Mantis里面管理追踪测试执行过程中，失败用例可以新建缺陷，在缺陷管理工具Mantis里面管理追踪APP的性能测试–APP前端性能时延分析网络环境4G/3GWifi弱网时延分析速率分析耗电量分析系统资源使用•编写自动化脚本模拟用户进行操作，找到响应时间较长，影响用户体验的功能点；•结合硬件设备精确获取手机应用耗电量数据•在不同网络条件下对比应用运行时性能表现；•使用工具对应用运行时CPU、内存、流量的关键指标进行监控。APP的性能测试–APP前端性能性能测试自动化大数据Benchmark测试（基线测试）：与竞争产品的Benchmarking,产品演变对比测试等资源监控交互性能测试（响应能力测试）：测试App中的各类操作是否满足用户响应时间要求。App安装、卸载的响应时间App首次启动响应时间App各类功能性操作的影响时间压力测试：反复/长期操作下、系统资源是否占用异常。App反复进行安装卸载，查看系统资源是否正常其他功能反复进行操作，查看系统资源是否正常极限测试：内存满时安装App运行App时手机断电运行App时断掉网络APP的性能测试–系统性能（压力测试）事务响应时间平均事务响应时间查看不同类型的响应时间使用Loadrunner、jmeter工具通过模拟大量并发虚拟用户产生压力对系统进行加压，测试系统在不用压力情况下的表现（响应时间、吞吐量、事物通过率等），找出系统潜在瓶颈。APP的自动化测试自动化功能遍历终端资源分析界面自动化测试①多机型，多系统版本②安装、启动、卸载操作③界面上可操作功能遍历④应用随机操作⑤生成测试结果报告①结合功能和界面自动化操作获取终端系统资源消耗数据②CPU、内存、流量、耗电量等数据收集分析③生成报表分析①支持Web、android系统界面②完成输入、点击、图片和文件比较的结果判断等操作③生成测试结果报告提高效率解放人工7x24降低成本内容目录1234APP测试介绍APP测试解决方案服务的价值案例分享方法流程团队技术/工具计划计划紧急需求准备执行报告准备执行报告流程团队技术/工具方法验收准则任务点(估算结果)解决方案测试案例(回归测试和探索性测试)测试框架测试环境和测试数据测试结果问题和缺陷缺陷分析计划确定工作范围需求评审和相关干系人设计测试方案开发验证准则批准验收准则设计编写测试用例测试案例评审会议和相关干系人为测试执行做准备引导测试准备评审持续的集成测试准备测试环境准备测试数据执行&报告验证测试案例并记录测试状态发布可测试的测试环境执行缺陷管理退出结束迭代归档整理用户验收测试需求编码集成测试系统测试业务需求文档业务优先级列表输出输出输入验收准则高层次的解决方案设计输入测试案例测试环境和测试数据输入输出开始•迭代开始•用户提供业务优先级列表•业务分析师收到需求文档启动优先级列表和相关干系人的会议设计流程技能技术框架工具流程团队技术/工具方法编码业务价值提高质量减少手工工作量缩短回归测试的时间可重复使用的自动化测试资产降低成本先进的自动化技术•数据驱动•关键词驱动自动化工具•功能自动化工具–Appium，Robotium，Silkmobile•性能自动化工具–LR,Jmeter，APT，GT标准测试流程可重复使用的自动化框架•测试计划•测试设计•测试执行•汇报结果•3层：对象,任务和脚本•数据库连接•文件操作•定制多种报表格式•通用的验证方法灵活的自动化测试方案3.功能测试自动化2.测试管理自动化1.全测试周期自动化流程团队技术/工具方法高水平人才团队•团队带头人来自世界知名企业，具有10多年测试、管理和运营经验•30+专业测试团队，包括用户体验、功能、性能，安全等领域专家中移动系列应用应用介绍中国移动旗下主要应用包括139信箱客户端，MM商城、随e行，和多号、和飞信。基于中国移动运营商业务和优势，秉承着“沟通从心开始”的理念为用户服务。中国移动公司旗下的手机应用也是为解决用户各种生活难题而打造，为每一位用户的生活更加便捷而努力工作成果按时按量完成各个应用的功能验收