Top100summit支付宝无线测试平台建设实践—支付宝

揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！支付宝无线测试平台建设实践于龙-王超支付宝质量部揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！关于我•2007年-2008年，微软全球技术支持中心，软件测试开发工程师,负责测试计划、测试用例撰写、自动化测试引入等•2008年-2011年，SAP中国研究院，软件测试开发工程师、测试工具组Lead，负责EPR测试框架研发、ERP测试平台建设、测试工具组团队管理等•2011年-至今：淘宝网，技术专家，负责PC自动化测试框架AutomanX研发团队；支付宝，技术专家/主管，负责支付宝质量部测试工具研发团队邮件：[e-mail]电话：[phone]揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！支付宝质量部工具研发团队•统一测试平台：前端设计、基础组件、新测试技术研发等•PC自动化：WebUI功能自动化、接口测试框架、调度体系等•链路分析：OSGI分布式系统问题快速定位、业务场景日志分析等•数据平台：银行接口mock系统、测试数据管理、场景准备等•无线测试：真机访问、应用提测、设备管控、自动化测试、无线mock等•字节码测试：覆盖率与应用瘦身、故障注入、静态分析等•其他：性能评测中心、线下环境运维系统、角色化管理实践等三个统一：入口统一、技术体系统一、迭代流程统一研发方向：提升工具质量、走出技术支持的困境、走贴近业务的工具研发道路承载小微金服测试工具研发使命揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！无线测试平台-基础模块组件统一测试平台-无线测试自动化测试升级测试字节码分析安装卸载设备管理借用管理真机访问设备管控应用提测低耦合统一技术体系合作研发高内聚Monkey测试遍历测试性能监控安全扫描应用打包质量报告用例管理数据准备UISDK应用评价中心版本管理渠道管理评论中心无线mock揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！系统开发精要•POC原型验证与方案确认•项目迭代开发周期管理•Report与例会制度等•发布与部署：数据库与WEB部署项目管理一•Url统一•主干分支管理•代码评审与结对编程•架构、数据库设计等评审相关规范•CURD三层架构、静态资源共享•Menu、Tab、Tree、Grid、ListView、Dropdown等通用组件•公用组件，如Json、Email、旺旺、Ark等•异常以及通知机制风格统一•统一登录与用户管理•权限管理•域名统一•标准工程模板业务抽象系统开发技术沉淀、系统开发效率提升、开源与交流等揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！OneRule原则•静态资源，aqc-assets•公共组件，aqc-common•模块A，PrjA•模块B，PrjB•模块C，PrjC•…工程组织•公用的图片、CSS、JS、Config等•公用的GridView、Dropdown、Checkbox等•公用的RichTextbox、Datetime控件等•…静态资源与公共组件•一个应用，一个工程•数据库设计•三层架构开发•前端渲染•系统发布开发单位•静态资源共享•通用组件共享•应用开发隔离•数据库隔离开发原则OnePersonPeerReviewOneAppOneDBuedshareOneAppOneProjectShare静态资源&OneApp&OneProject&OneDB&OneOwner&PeerReview揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！安装、卸载、启动、升级方案特色•代码在线浏览•问题在线排查•傻瓜化Web操作•支持PC与Mobile应用选择设备•用户拥有的•系统提供的运行测试•发送请求•Controller执行测试结果•Controller结果返回结果分析•安装情况•卸载情况•启动情况应用上传•上传新应用•选择已有应用揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！Monkey测试基本概念•Android命令行工具•伪随机用户事件流•稳定性测试方案核心特性•仅针对应用程序包•不可定制事件流•事件数量和频率可定制•运行约束选项，如针对特定包典型示例$adbshellmonkey-pyour.package.name-v100•P代表指定应用•v代表查看monkey生成的随机事件数•100代表随机事件数方案特色•参数可配置化•原子化与集成化揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！字节码测试•静态分析：在不执行程序的前提下对其进行分析的技术•动态分析：通过对静态代码进行缺陷注入，执行测试，发现隐含在异常流程中的逻辑错误，以此校验上层应用的稳定性表现。扫描策略配置•任务监控•定期或立即应用信息配置•svn和env•app基本信息扫描结果•提交到CQ•提供OpenApi缺陷流程•开发修复•测试校验选择场景•依赖、网络•并发、硬件执行并测试•取远程class文件•新class文件回传方案特色•代码在线浏览•问题在线排查揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！性能监测一源代码级•方法级别的测试•模块级别的相互调用•缓存策略的设计•垃圾回收策略设计•IO操作的线程化异步•第三方库引用的消耗埋点自动化测试硬件级•不同品牌机型(Android有内核被改造）•不同API版本的性能优化相关的改造•不同机型硬件配备用户场景级•操作消耗的流量•使用消耗量•使用响应速度•使用中操作流畅度•使用过程中crash率•感知应用启动时间无线测试平台-性能数据分析揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！性能监测二方案特色•常规性能数据采集•支付宝埋点数据采集•源码级与场景级性能监测用户场景管控嵌入式性能SDK性能代码扫描设备管控采集引擎应用管控性能指标内存流量CPU电量操作响应时间网络响应速度客户端Crash率揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！自动化测试方案特色•统一平台技术体系•无线开发提供UISDK用例特点•PC端用例开发•手机端用例执行•用例java工程化•用例apk化，通过UISDK进一步复SDK整体方案自动化•UISDK•Java工程计划管理调度管理CQ集成测试工程设备管理用例管理配置管理文件服务报表管理OpenApi数据准备揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！设备管控设备管理•设备入库•设备查询•OpenApi•设备盘点借用管理•设备申请•借用审批•设备归还•催还设备•借用报告方案特色•设备统一管理•提供统一OpenApi真机入口•可用访问•真机借用揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！统一控制中心一真机访问•应用提测•cmd命令•真机操作Api接口•安装卸载•自动化、远程命令执行•性能采集•Monkey测试•日志、手机文件操作•远程截图WEBUI操作Api接口方案特色•模块解耦•接口统一管理•通过USB访问揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！统一控制中心二方案特色•模块解耦、接口统一•通过USB访问•破图率业相比降低80%Controller架构•用户层•操作层•设备驱动层•真机设备触屏功能命令执行截图功能日志抓取其他功能按键操作真机操作揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！遍历测试更强大的webview插件支持，自动发现链接方案特色•作为随机monkey测试有效补充•智能monkey揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！遍历测试更强大的webview插件支持，自动发现链接方案特色•作为随机monkey测试有效补充•智能monkey揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！支付宝质量部互联网金融测试领域标杆引领互联网金融测试持续交付测试平台质量体系测试架构无线测试金融测试揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！