移动互联网用户感知测试目录4G数据网络的感知分析和优化系统部署和应用基于移动式探针的测量方案基于商业终端的测量方案两种方案混合组网配置移动互联网资源管理从宽带网络到移动宽带网络•大量流量被封装在App里,用户感知分析和故障排查非常困难–各种业务广泛采用NativeApp实现,App产品复杂度较高,易受手机硬件、网络环境、其他软件等因素影响,相应产生的投诉量也较多–各种业务产生的投诉众多,其中涉及网络速度、音源质量、软件稳定性、流量费、资费争议和软件设计等;问题现象及原因多种多样–DPI系统识别高层应用流量流向越来越困难,面向感知维护的功能被严重削弱–产生问题场景再现复杂,需要询问客户,查询日志,甚至需要回到问题场景所在地所在时段进行问题复现,但很难真实还原当时客户端所反映出的情况•获取客户端侧问题数据困难–传统用户体验指标性数据收集局限于服务器端日志、用户现场访谈,无法真实、零干扰地反映客户端侧数据•缺乏用户行为统计数据,资源调度和优化缺少支撑–移动互联网流量无法采集用户使用行为信息,进而无法有效改进业务用户体验,资源调度的分析和优化目标难以确立从宽带到移动宽带宽带接入移动宽带接入运营商核心网客户端ICP服务CacheCDN云平台IDC集团出口和第三方出口•IDC/Cache性能•出口性能•资源调度•网络时延和丢包•有效接入带宽•终端性能和浏览器性能需要对整个移动宽带进行端到端质量分析质量感知测试系统的目标宽带接入移动宽带接入运营商核心网客户端中间件Web服务器数据库存储设备负载均衡应用服务器在移动宽带的感知测试中,测试重点向网络两端迁移资源端到端用户业务感知文件上传/下载速度Web页面打开时间VOIP/视频播放质量无线信号/位置资源位置出口质量流量效率4G移动宽带感知特有的问题•测速感觉没有宣传的那么快•视频网站用浏览器看着挺好,用App看就会有问题•随便一个应用在DPI上面就有十多个个TCP连接,不知道如何判断好坏•宣传有LTE热点的地方无法接入测速结果不准确,未能达到LTE峰值状态插入大量广告无法掌握后台数据大量测速App给用户带来的困扰Speedtest:12.93Mbps实际测试:22.42Mbps北京移动碰到的问题移动互联网感知测试方案•网络性能•Attach和PDP性能(延迟和成功率)•IP网络时延,丢包和抖动•RFC5357(TWAMP)•终端性能•手机CPU,内存和电池消耗•手机队列长度•用户感知分析•Web感知分析•视频感知分析•其他App感知分析•用户投诉处理•客户端自测试•反馈和服务•测试设备部署•基于ServiceTest模式的专用探针•智能终端测试App•AP/PCU/RNC/eNodeB核心网仿真•监测模式•7X24测试•故障检测•随机测试•巡检模式目录4G数据网络的感知分析和优化系统部署和应用基于移动式探针的测量方案基于商业终端的测量方案两种方案混合组网配置移动互联网资源管理系统实施的概念控制中心和数据存储远程自测试/受控测试的移动互联网测量终端通过智能终端的计算能力实现用户自测试和感知采集系统技术架构后台用户感知视图目录4G数据网络的感知分析和优化系统部署和应用基于移动式探针的测量方案基于商业终端的测量方案两种方案混合组网配置移动互联网资源管理移动互联网测试探针1234安卓和嵌入式Linux双系统,保证系统的长时间、安全、稳定运行;可以测试各种业务应用和App支持10/100/1000M自适应以太网电口、GPRS/TD/WLAN/TD-LTE4种接口模式220V交流(AC);16V直流(DC)供电;支持PoE供电;电池供电CompactFlash启动,无机械接触宽温工作:-20°C最高70°C高灵敏度天线可选内置频谱仪可加插SIM卡或连接SIM池ServiceTest的概念ServiceTest是移动宽带常用的一种测试方法,类似于GSM中的CQT。目的是衡量一个网络的基础性能(而不是终端用户感知)。ServiceTest通常将探针部署在具有代表性的站点下,或者直接部署与机房中。典型应用场合:网络的标准化测试(建立KPI)例如:每个eNodeB下部署一台探针对比测试例如:电信/移动各部署一台探针特定客户/大客户质量保障(SLA)例如:为每个视频监控点部署探针故障拦截测试例如:为故障投诉人员提供测量参考探针实现的4G网络的标准化端到端测试ITUY.1564Y.1564是面向基于以太网的服务的开通、故障诊断方面的ITU-T最新标准。通过该标准单次测试即可完整验证以太网服务等级协议(SLA),并且具有最高精度。此标准在探针中主要用于以太网链路的质量测量,同时在PTN,移动回传网,大客户接入网络中起到重要作用。目录4G数据网络的感知分析和优化系统部署和应用基于移动式探针的测量方案基于商业终端的测量方案两种方案混合组网配置移动互联网资源管理如何测量手机App的应用感知?基于商业终端的感知测试通过现有的互联网拨测对用户感知进行测试,起到抽样的作用,目标是产生网络感知的KPI,相当于听诊器如果能够通过大量手机用户帮助我们测试用户感知,则可以对整个网络进行分析,产生全网的用户感知透视,相当于CT扫描业务感知拨测:从运营商到客户可以得到哪些信息用户在各种场景下使用手机上网的比例都超过50%,其中八成手机网民在家中利用手机上网,六成的手机网民在乘坐交通工具时候使用手机上网,只要有0.01%的智能手机用户安装了具有测量功能的App,就能够超过广东移动多年部署的所有拨测点。无线信号质量业务感知地理位置网络状态大量的手机用户可以帮助我们进行测量90%的用户24小时机不离身•辅助解决自有业务质量问题–提供涵盖手机硬件、网络环境等多个问题涉及环节的监控数据,定性定量地反映出现质量问题时的场景,便于排查问题原因–无需客服人员深度介入,减少客服反馈环节及工作量•收集客户端侧用户行为数据–从手机客户端侧收集包括网速、客户端操作响应速度、程序崩溃、重试次数等涉及用户感知的数据–无需对用户进行现场访谈,无干扰用户,即可获得准确数据•为第三方应用数据提供支撑–统一搭建的业务质量数据收集、分析平台,可复用到众多的第三方应用上,增加移动平台开发服务的吸引力,降低其使用成本•拓展互联网业务能力–采用用户客户端嵌入信息采集器的方式,来对用户客服端的业务质量进行监控,获取用户的业务真实感受;–并记录用户的使用偏好,来提升应用软件的可用性,迎合用户的喜好。拓展了中国移动实现互联网业务的端到端监控和客户行为分析能力。基于智能终端的感知测试MobileIQ软件探针支持预安装或后安装模式提供全面的移动互联网感知分析自我诊断和上报功能全面的App感知监控功能用户行为分析LTE的测速和分析•LTE用户的测速需求较高,可以成为4G用户感知支撑的辅助手段App的用户感知测试通过提取一组目标建立App的感知模型:连接时间,重传,吞吐率等对需要验证的App采用客户端输入采用用户自愿选择监控目标的原则驻留,悬浮,即时运行多种方式目录4G数据网络的感知分析和优化系统部署和应用基于移动式探针的测量方案基于商业终端的测量方案两种方案混合组网配置移动互联网资源管理业务感知信息:登陆和离线用户感知矩阵丢包和延迟视频体验信息:下载速度信息缓存时间信息业务故障信息:下载故障缓存故障访问服务器故障客户端主动测试信息:客户端测速和业务缺陷反馈客户端诊断,CPU,内存,电池等系统信息端到端网络质量:网络吞吐量,网络瓶颈测试当前无线网络和数据网络连接状态信息业务感知标准化测试:业务感知对比和验证;KPI考核和测试数据接收数据解析数据存储数据多维度分析业务感知统计故障事件处理竞争分析主动测试数据备份和导入导出用户管理一体化的解决方案通过定点部署专用探针+下载安装手机探针的部署方式完成移动互联网用户感知覆盖广东移动的方案-与客服系统结合网络感知端到端KPI通过终端侧程序可以采集获取端到端的数据业务KPI,精确了解数据网络的客户感知,为网络优化和运营提供数据支撑。1投诉预处理通过网络体检功能,可以解决一部分由于手机配置及无线信号弱引起的投诉,手机侧上传的网络体检分析报告和错误日志可以为投诉处理提供参考。2故障辅助定位当使用用户数量较大时,可呈现地理区划的批量用户真实宏观拨测数据,为故障定位提供参考。3用户投诉准确分析和关怀上海移动的方案-完全基于手机通过巡检任务发放控制测量点目录4G数据网络的感知分析和优化系统部署和应用基于移动式探针的测量方案基于商业终端的测量方案两种方案混合组网配置移动互联网资源管理谢谢!