可视化精准测试星云在线云测试技术分享星云测试产品设计师:赵明CSTQB十周年庆典“测试示波器”获取精准测试数据31可视化测试系统云端原生测试管理系统Page04-09Page10-14Page15-21Page22-28目录675智能测试分析算法“工业级”白盒测试技术企业级技术特性Page29-32Page34-37Page38-40精准测试理念瓶颈企业传统测试方法面临的问题与瓶颈瓶颈低效对于产品型应用,传统的黑盒测试方法在测试后期检测效率极低,无法高效检出缺陷,除非投入大量人力,否则很容易带缺陷上线。可信性量化瓶颈测试过程、结果输出基本以人工判定为主,难以保证精准可信。常规的测试管理属于测试的MIS系统,无法确保测试数据输入的精确性。测试所采用的方法主要为围绕业务的经验性方法,对人员经验的而依赖程度高,组建团队的成本较高。整个过程无法量化控制。很难具备互联网模式。开发团队和测试团队协同工作难开发团队(代码为工作核心)测试团队(测试用例为工作核心)花费大量时间复现和Debug缺陷,无法精确把握缺陷现场的详细信息。开发团队不清楚用例的执行逻辑,无法有效帮助测试进行用例审核。通常开发团队给到测试以非常模糊的功能逻辑的描述,造成测试的隐患。依照开发团队变更的解释以及业务经验,从功能层面去判断和执行回归测试,存在很大的风险。无法获取测试充分度的精确数据。采用专业的测试软件,对软件测试执行全过程的原生数据进行自动采集、存储、运算、可视化展示,它依靠一系列的分析算法,可对软件测试的效率、质量进行分析、改进和优化。智能可视精准公信开放精准测试的介绍1、不改变传统的软件测试方法,在黑盒测试过程中,由计算机软件去采集程序执行逻辑以及其他测试数据的过程。测试过程不需要直接面对程序代码进行。2、所有数据由系统自动、原生录入,不可人工直接修改,保证数据精准和不可篡改,精准的测试数据可直接用于测试的过程管理和实效分析。3、支持测试数据的精准度量以及全面的、多维度的测试分析算法。将白盒测试的视角从覆盖率扩展到测试分析。4、基于测试用例和代码的映射关系的,支持回归测试用例的自动选取。精准测试的核心特性黑盒测试属于模糊测试,质量、进度不可视,系统与人员的管理成本极高,没有实用的工业标准,软件有效验收难度很大。白盒测试传统白盒直接面对代码测试,难度大、效率低,核心技术被国外垄断,昂贵难学,无法云化,仅关注覆盖率。精准测试的效率分析精准测试极大提高测试效率和质量,通过可视化的各层级数据聚合报表,引导团队进行高效测试与分析。简单易学、完美配合团队和软件精准测试需要,使测试同时具备从精微到全局管理、分析、处理的能力。“测试示波器”获取精准测试数据可信的、精准软件质量管理所有的数据录入,采用“软件示波器”,执行用例时对应的程序运行逻辑会自动、实时采集和分析。测试数据由程序内部接口自动录入不提供人工输入接口,数据无法被篡改。所有数据精准到每个工程师、每个测试用例,并保证精准、无损、可追溯。软件示波器:无线、自动采集被测应用的代码运行逻辑和指标数据实际测试的过程中,测试员可以看到类似于心电图的数据获取模式,让软件测试过程因此变得有趣、可视、精准。星云示波器的优点:辅助测试人员对被测试程序进行分析,例如等价类的辅助划分、探索性测试等。通过程序实时输出的逻辑单元运行的数量,分析程序行为以及潜在的性能问题。可随时重新录制,更新数据。测试用例与代码的自动关联关系建立将测试用例和海量的代码执行信息自动关联。用户可以通过星云视图实现测试用例到代码的双向关联分析。精准测试技术帮助建立代码维护资源库通过在测试过程中产生的测试数据,完整的展示每个功能点的实现逻辑,从代码结构,函数路径,条件执行,代码块覆盖等多级角度展示程序功能点;精准分析每个代码段被哪些用例所执行,在大型软件的修改过程中,可以依赖此数据进行一致性的维护和修改测试用例精准对应代码实现逻辑完整保存,极大方便大型软件后期维护。可视化测试系统覆盖率计算可视化支持对各种覆盖率(最高可达到MC/DC)的计算的可视化,对每种覆盖率的计算结果给出可视化的直观计算过程。选择不同的覆盖率类型,未覆盖/已覆盖元素会自动切换。给出每种覆盖率的分子/分母以及计算过程。崩溃路径可视化:捕获所有闪退,无需重现,极大减少定位问题时间自动记录崩溃发生时刻之前程序执行的详细路径信息,捕获难以重现的缺陷并快速解决:最后50个代码块。最后50个条件。最后50个判定执行。除了在研发环境内,也可以在用户现场精准定位缺陷,而无需再用户现场部署任何代码。建立开发团队与测试团队间的可视化沟通桥梁用数字化的智能过程管理办法,快速定位并记录测试缺陷对应代码的完整执行路径,帮助开发人员快速修复缺陷。精准记录测试过程,便于进行事后分析。可视化展示测试的充分性,帮助测试、开发高效的发现问题、解决问题。可视化的软件静态结构客户端视图可以全屏、拖动放大、缩小,帮助用户从全局分析程序结构。动态执行信息可结合静态结构视图进行展示,程序总体运行情况一目了然。可视化的控制流程图,对主要的控制逻辑语句对应有清晰的图元显示。控制流程图可以与代码联动,选择相关节点及自动跳转到对应的代码位置,并且查看代码执行的动态信息。静态复杂度分布视图确定工程中函数的复杂度分布。通过雷达图分析每个函数的各种复杂度的符合性标准。代码违规、重复度分析高效的代码走查,可视化的代码质量审核。关联代码展示程序内部的代码重复块云端原生测试管理系统实时数字化、分布式协同管理实时的web端测试报表,只要通过浏览器登陆云端系统,选择需要跟踪的项目,就可以实时的对整个测试的质量、进度、人员进行精准的分析和管理。云端管理系统展示的数据基于精准测试数据的分析,所有数据原生,精确,支持在云端进行互联网+测试。测试团队、开发团队,甲方负责人等多种角色都可以登录系统,从各个层面对测试、软件质量进行分析。(测试客户端+后台实时Web追踪)完美支持互联网协同测试分布在不同区域的测试人员可以针对不同的模块功能同时在云端进行测试,所产生的数据会实时再云端汇总并且展示给每个用户。开发人员以及管理人员可以登陆系统,测试现场得到的数据,在研发环境即可实时分析。对每个测试工程师的实效可以进行精准跟踪。测试可以随时随地进行移动办公,更换测试设备和环境后可以保持数据连贯性和云端自动同步,完成区域协同。原生、精确的测试用例信息测试用例与测试覆盖率、测试设备、测试人员、测试时间等信息关联。测试用例信息由系统自动采集和录入,可以保证信息的精确。项目汇总报表项目汇总报表:显示项目的投入,环境设备,测试充分度,项目静态信息等综合数据Bug分析Bug关联报表:测试设备与BUG的关联、显示缺陷的增长以及与测试设备的分布关联关系全方位的技术指标,提供数字化验收支持技术债务分析模型,分析软件内部设计在未来维护中的附加成本。可以对软件交付和验收提供直观的参考。测试充分度可维护性、可测试性测试漏洞分析代码重复块、代码违规、代码注释测试贡献度分析、测试用例执行分析崩溃的统计及代码级别崩溃分析智能的测试分析系统高效的测试漏洞检出和分析通过静态、动态指标的综合分析,在大量的程序模块中,通过计算直接筛选潜在的高危的测试漏洞,可以在短期内检出更多缺陷,而无需要求所有模块达到100%的覆盖。通过复杂度和动态覆盖率进行计算。通过函数调用上下文和动态覆盖率进行计算。智能回归测试用例选取适应快速的版本迭代周期,适应庞大的工程项目。在回归测试时,自动筛选测试用例,大大减少了回归测试的时间以及风险。降低了传统人工回归分析产生的测试盲点。精确计算回归用例的权重,测试人员在时间有限的情况下可以重点回归受改动影响最大的用例。测试用例的聚类分析算法根据测试用例的函数执行剖面的向量化信息,对测试用例进行聚类分析。从类中检出中心点测试用例以及随机的其他用例,可以快速确定类中是否存在较多缺陷,快速定位缺陷的分布。通过聚类结果对测试用例的执行正确性进行分析。大型系统维护—通过测试用例聚类分析,寻找测试用例的内在规律“工业级”白盒测试技术一键式透明运行方式只需要创建一个项目,指定被测应用代码代码路径,一键式执行静态分析以及代码转换后并重新打包,运行一遍,可实现秒速了解软件整体结构与布局、秒速了解测试用例、代码、模块的关联关系、秒速定位各种复杂BUG。测试过程完全无需代码,运行过程几乎完全透明,和代码相关的结果可以再研发环境内后链接代码进行分析。云+客户端,无需上传源码的云端精准测试企业私有云平台存储程序的“骨架”结构信息以及符号映射信息,以及测试结果,可以通过内部符号系统在用户的研发环境和代码关联展示测试结果。用户可以根据企业的需求要设定哪些人员可以直接访问代码,哪些人员只需做黑盒测试。支持多版本白盒测试数据的聚合精准测试所有数据分析结果都特别考虑了迭代中版本对于数据的聚合需求,如同专为应用快速迭代的特性而设计的。所有版本的测试数据,支持累计的合并计算,以便分析自测试开展以来,一直存在的薄弱环节。可以任意选择版本合并,观察任何时间节点的累计数据。企业级技术特性技术特性1、兼容被测应用语法规范,代码转换后不影响原有功能逻辑,额外性能开销小。2、支持开放式的API方式(300+开放API),可以和自动化测试平台、测试管理系统以及各种云测试平台进行紧密的对接和整合,支持PAAS应用模式。3、超高性能,每秒钟可处理10万余条程序运行、测试数据。4、针对不同的语言版本,云端共享一套测试分析系统。5、支持并发测试场景下,后台Web应用的数据路由和分发。星云测试的设计在可扩展性、高性能和平台扩展上进行了全面的考虑。与自动化测试的集成接口精准测试(测试示波器)与自动化框架集成示波器可以无缝的对接各种主流的自动化工具,测试人员无需改变原有的测试脚本流程,仅改变测试基类即可。自动化测试用例可以在产品中自动生成,无需事先手工建立。全程无需人工干预。C/C++Linux、嵌入式平台ObjC/C++,iOS/OSX平台Html5,Web前端平台等Java、Android、J2EE平台星云提供:Android、J2EE、iOS、OSX、LinuxC/C++等多种精准测试平台星云精准测试的产品链在线自助测试金融/互联网电气设备智能制造第三方验收平台智能医疗航天军工OffLine–大客户未来:助力产业升级OnLine-小客户未来:行业热点精准大数据分析星云精准测试的服务方式公众订阅号threadingtestQQ交流群符号执行-精准测试339834199THANKSCSTQB十周年庆典