无线质量全过程保障实践

无线质量全过程保障实践葵儿自我介绍：葵儿/夏培芳2004年毕业于浙江工业大学2007年加入淘宝2010年负责无线业务测试工作2012年专注无线测试工具平台我们曾面临过的问题淘宝客户端在过程中的实践案例无线应用质量保障整体思路总结无线质量全过程保障实践挖掘结合无线应用的测试方向解决产品团队中重复性处理工作创造无线测试互动交流机制2013年宗旨成长分享工作效率产品质量PC端功能性--业务逻辑兼容性--浏览器性能--大数据高并发网络-宽带（有线/无线）Mobile端功能性--手机特性交互兼容性--设备性能--单机稳定性/体验网络--WIFI/2G/3GPC端Mobile端业务逻辑功能性手机特性交互浏览器兼容性设备大数据高并发性能单机稳定性/体验宽带（有线/无线）网络WIFI/2G/3G/4G项目各环节中存在的问题ù设计研发测试验收发布跟踪预发回归•服务端环境干扰•多机单线程适配•基础测试反复操作•性能数据收集繁杂•回归投入成本大•测试报告人工收集•灰度发布效果一般•设计适配力度小，兼容性测试后延•自测包混乱不统一•发布流程多人跟进•反馈收集滞后1234问题识别这些问题环节的背后都有一个通病：用户手中各类不可控的手机！看看下面这些，你最想做的是什么？正题来啦！提测前期：我们能为质量保障做些什么？开发：设计：测试阶段：影响效率的那些问题怎么办？客户端在线维护版本5个，每一次的升级都要向前覆盖安装5个版本；一次我们与某个手机厂商合作预装，要求将apk开启放置后台测试2小时；接入的模块多加了获取用户通讯录的权限，导致紧急发布一个修复版本；内部服务端接口多次请求，耗用户流量---------如何去快速查看数据流转快速进入客户端某个模块，死机--------如何去有效模拟网速测试阶段：如何关注隐藏在背后的问题？测试阶段：如何快速覆盖业务逻辑？服务端逻辑：通过API接口测试脚本覆盖回归，确保业务逻辑的正确性客户端交互：通过数据mock，简化真实数据准备的繁琐问题，降低遗漏客户端UI：通过UI自动化脚本快速回归主干预发阶段：如何确保客户端预发效果？发布阶段：如何避免不必要的失误？通过系统化打包发布，减少了过程中的人工参与，降低失误率；同时，1天的工作缩短为半天内搞定。发布后：我们还能做点什么？无线质量策略：分阶段分层次解决问题ù设计研发无线实践测试验收发布跟踪预发回归多维度分层•mock辅助测试•多机兼容性适配•典型TC平台化•分层定位规范提速•脚本TC持续回归•灰度发布自动体系化•测试结果综合分析持续改善上游•系统打包•冒烟适配•前端预适配去人工化•打包发布一体化•发布验证•在线监控反馈1234传递思想：全过程质量保障！全过程质量保障测试架构图无线性能测试和优化----悟石个人介绍•2006年，毕业于南京航空航天大学•2008年，加入淘宝，负责性能团队工作•2009年，负责五彩石系列项目性能测试工作•2010年，发布《淘宝性能测试白皮书》•2011年，发布淘宝性能测试平台•2012下半年，主攻无线性能Agenda•移动APP性能瓶颈和测试•real-user性能监控和分析•实施移动APP性能优化移动APP性能瓶颈PC模式下的架构页面端有线网络Server端DB端缓存端服务器硬件Mobile模式下的架构App端移动设备无线网络Server端DB端缓存端服务器硬件VS.移动APP性能瓶颈•CPU瓶颈•MEMORY瓶颈•网络瓶颈•耗电量瓶颈•响应时间瓶颈•后端api不稳定瓶颈•图片资源耗流量瓶颈•…移动APP性能测试业界成熟的测试工具DDMSXcodeInstruments移动APP性能测试执行性能测试获取监控结果性能分析性能优化选择机型上传测试包选择测试手段提交测试启动monitor收集监控数据回传监控数据展示监控数据设备资源分析网络流量分析响应时间分析静态代码分析逻辑代码优化SDK代码优化流量优化网络优化自主研发测试工具&平台•传统实验室条件下，可以有效提升客户端的性能吗？•一个AndroidAPP应用，有20处NullPoiterException•发布前，很遗憾，我们没有修复•发布后，过了一周时间•我们做了统计，发现空指针导致的闪退高达1万次！我们来看一组数据WHY?real-user性能监控和分析real-user性能监控和分析user_track埋点云梯集群性能数据分析优化决策针对性的性能诊断工具user-endintranettest-lab实施移动APP性能优化•通过数据分析，发现Android空指针导致app闪退的情况最严重•开发代码静态扫描工具，针对空指针•一个月之后，该APP的空指针闪退率下降0.68%Android空指针优化的例子实施移动APP性能优化•UI渲染优化UI线程逻辑代码异步化降低图片大小/利用图片缓存选择UI组件/UI代码优化•业务代码优化发现性能瓶颈-对症下药•内存优化关闭数据库的cursorBitmap使用结束后调用recycle()释放生成的对象•CDN助阵图片和JS加载