中国移动TD-LTE网络质量测试评估规范v15

1TD-LTE网络测试评估规范一、目标1.评估各省、地市TD-LTE网络性能、工程建设质量情况。2.评估端到端、客户感知的业务和网络质量情况。3.分析TD-LTE网络性能、客户感知的网络和业务质量的短板区域和短板指标。二、总体原则1.评估应包括室外、室内多个场景，场景选择应和客户实际业务发生一致。2.评估应充分考虑数据质量和采集效率，使用自动化手段进行，评估期间最大限度降低人为干预。3.测试评估体系根据目标，总体上分为“网络性能评估”和“客户感知的业务质量评估”两个维度。核心内容、指导方向、指标输出方面各有侧重，相同点在于测试场景，而测试设备、方法、规范、指标等不尽相同。4.网络性能评估(1).核心内容：通过室内外网络遍历性测试，评估网络，特别是无线网主要业务的性能情况。网络性能指标排除了数据源、网间互联等因素，反映的是网络的极限能力，不代表客户的真实感知。(2).指导方向：反映网络覆盖、干扰、资源不足等方面的问题，指导网络规划建设。指导网络层面的性能和质量优化。(3).测试手段：自动测试平台、自动测试前端ATU、网络测试仪表。(4).主要指标：覆盖、干扰等网络指标；下载速率、呼叫成功率等主要业务指标；基站、小区遍历性指标。5.客户感知的业务质量评估(1).核心内容：按照客户真实的业务行为，如语音拨打、登录网站、看视频等，测试评估端到端实际的业务质量情况。(2).指导方向：在网络性能分析基础上，分析各种业务的端到端质量问题，指导基于业务的质量优化；指导面向竞争对手的业务质量优化。(3).测试手段：自动测试平台、商用终端、网络测试仪表。(4).主要指标：基于浏览、下载、视频播放等业务的质量指标，如：下载速率、登录时延、返回时延长等。6.在端到端客户感知业务质量评估中，应使用流量和知名度的TOP网站或业务，同步进行竞争对手的业务质量对比评估。7.网络考核指标要尽可能做到公平，排除非网络原因带来的干扰，真正能够引导各省公司向着解决问题、提升质量的方向努力。三、TD-LTE测试规范TD-LTE测试分为“网络性能测试”和“客户感知业务质量测试”，其中网络性能测试主要依靠自有服务器的FTP业务测试，验证TD-LTE无线网络空口性能。客户感知业务质量测试包括语音业务质量测试和数据业务质量测试，数据业务质量测试通过商用测试终端进行HTTP浏览、HTTP浏览、视频流媒体、邮件发送等。1.网络性能测试规范1.1业务测试3(1).测试手段ATU终端，支持TD-LTE测试、8模以上；(2).测试网络TD-LTE网络（混网）、HSPA+网络、EVDO网络、TD-SCDMA网络；(3).测试业务及方法数据FTP上传下载业务（混网）。序号测试业务测试方法1FTP大数据量上传、下载业务1.文件大小：TD-LTE网络FTP下载500MB文件，TD-LTE网络FTP上传200MB文件；HSPA+、EVDO、TD-SCDMA网络FTP下载8MB文件；2.线程设置：下载5线程、上传单线程；3.业务间隔：15秒；4.网络选择：混网测试，即GSM/TD-SCDMA/TD-LTE自由选网。1.2空闲态测试(1).测试手段ATU终端，支持TD-LTE测试、8模以上；(2).测试网络TD-LTE网络（锁网）；(3).测试业务及方法空闲态测试（锁TD-LTE网）。4序号测试业务测试方法1TD-LTE空闲态测试IDLE状态下锁混网测试，不做任何业务2.客户感知测试规范2.1语音CSFB业务测试(1).测试手段TD-LTE商用终端、测试仪表。(2).测试网络TD-LTE网络（混网）。(3).测试业务及方法语音CSFB拨打业务序号测试业务测试方法1语音拨打业务终端A拨打语音通话至终端B，呼叫时长持续30秒（从主叫收到Connect到上发Disconnect的过程持续30秒）。每次间隔30秒，如遇未接通或掉话则间隔30秒后开始下一次呼叫；不在软件中设置主叫未接通超时，主叫侧一直等待网络侧下发拆线。2.2数据业务测试(1).测试手段5TD-LTE商用终端、测试仪表。(2).测试网络TD-LTE网络（混网）、HSPA+网络。(3).测试业务及方法数据业务序号测试业务测试方法1短信发送业务终端A发送短信1次给B，短信内容：“移动4G，国际主流，快人一步”，短信超时为30秒，完成后间隔5秒开始下一项测试任务。2彩信发送业务终端A发送彩信1次给B，彩信内容为中国移动logo，图片见附件1，大小为12KB。彩信超时为60秒，完成后间隔10秒开始下一项测试任务。3FTP小数据量上传业务上传文件大小为20MB，单文件单线程上传，上传超时为600秒（即若一次业务600秒仍没上传完则强制结束），若应用层从上传开始连续30秒无任何流量则视为失败，若之前有流量且应用层连续60秒无流量则判为掉线，断开拨号连接后间隔10秒后进行下个测试项。单次业务最多可拨号3次，每次间隔5秒。单次业务FTP最大登录次数为3次，每次间隔5秒，FTP登录超时为20秒。联通H+上传文件大小为5MB，单文件单线程上传，上传超时为600秒，拨号及登录规范同TD-LTE，任务完成后断开拨号连接，间隔10秒开始下一项测试任务。64FTP小数据量下载业务下载文件大小为50MB，单文件5线程下载，下载超时为600秒（即若一次业务600秒仍没下载完则强制结束），若应用层从下载开始连续30秒无任何流量则视为失败，若之前有流量且应用层连续60秒无流量则判为掉线，断开拨号连接后间隔10秒开始下一项测试任务。单次业务最多可拨号3次，每次间隔5秒。单次业务FTP最大登录次数为3次，每次间隔5秒，FTP登录超时为20秒。联通H+下文件大小为20MB，单文件5线程下载，下载超时为600秒，拨号及登录规范同TD-LTE，任务完成后断开拨号连接，间隔10秒开始下一项测试任务。5HTTP浏览业务依次浏览10个公网门户网站。网站地址从网站库里选择，每次浏览网页间隔2秒，浏览超时时间为30秒。测试完成后断开拨号连接，间隔10秒开始下一项测试任务。网站列表见附件2。6HTTP下载业务HTTP网站资源下载1次，下载超时为120秒，若从下载开始连续30秒内应用层无任何流量则视为失败，若之前有流量且连续30秒应用层无流量则视为掉线，断开拨号连接，间隔10秒后进行下一项测试任务。正常测试任务完成后断开拨号连接，间隔10秒进行下一项测试任务。下载资源文件大小建议在25MB左右。.7流媒体业务主流视频网站，如优酷，播放在线视频业务，视频时长50秒以内，点击视频后30秒内没有播放则视为加载失败，开7始播放后30秒内无流量则视为失败浏览掉线，若点击视频开始播放后60秒没有结束则视为浏览失败，缓冲区总时长为60秒，缓冲播放门限5秒。测试任务完成后断开拨号连接，间隔10秒后开始下一项测试任务。视频质量选择高清。8邮件发送业务发送邮箱为测试人员139邮箱，加载5MB附件，进行邮件发送测试1次，接收邮箱及密码为需自定义。发送超时60秒，点击发送后30秒内应用层没有任何上传流量则视为失败，之前应用层有流量且30秒内没有上传流量则视为掉线。任务完成后断开拨号连接，间隔10秒后进行下一项测试。备注：以上（5）-（8）项均需与联通H+做对比测试。3.测试场景规范3.1道路测试TD-LTE道路测试主要采用ATU设备进行网络性能测试、数据业务测试，采用商用终端进行语音CSFB测试、客户感知测试，主要测试方法及要求如下：(1).测试区域：按照网格划分区域或选定区域（建设区域）进行测试；(2).测试道路：城区范围包含背街小巷在内的所有1-4级道路；交通干线不包含铁路（重点是高速铁路和动车组）、高速公路、国道省道等；县城城区包括县城城区范围内的主要道路；农村及旅游景点包括乡镇、行政村、旅游景点及连接道路；(3).测试路线：按照指定路线进行道路遍历性测试，合理规划路线尽量减少重复道路测试；(4).测试轨迹记录：测试仪表需配备相应GPS设备进行测试轨迹记录。8(5).测试仪表及数据处理：必须使用集团集采的测试仪器仪表，数据处理采用集团自动路测平台、商用终端平台进行统一汇总统计；(6).测试速度：城区保持正常行驶速度，不设置最高限速，平均车速需达到20公里/小时；高速测试按照高速公路实际限速正常行驶；(7).渗透率：城区1-4级道路测试渗透率需达到90%以上。3.2室内测试TD-LTE定点测试主要采用ATU设备进行网络性能测试、数据业务测试，采用商用终端进行语音CSFB测试、客户感知测试，主要测试方法及要求如下：(1).测试场景：楼宇按照使用性质分类较为复杂，主要分为党政军机关、办公楼、宾馆酒店、餐饮娱乐、交通枢纽、大型商超、学校、旅游景点、工业园区等；表3.3-1测试场景占比场景类型占比党政军机关5%办公楼15%宾馆酒店15%餐饮娱乐20%交通枢纽5%居民小区20%商场（大型超市）10%学校10%9(2).楼层选择：五层以下楼宇选取底层，共一层；二十层以下楼宇选取底层、高层各一层，共两层；二十层以上楼宇选取底层、中间层、高层各一层，共三层。(3).测试区域a)办公楼宇主要测试区域为客户接待区、办公区、休息区；b)居民小区主要测试区域为社区休闲区、体育活动区、楼宇楼道、电梯间。无法进楼的居民小区务必进行楼宇间道路测试，选取居民小区核心区域；c)宾馆酒店主要测试区域为大堂、休闲区、客房（有条件进入）；d)商场（大型超市）主要测试区域为服务台、休息区、休闲区、主要购物区域；e)餐饮娱乐场所主要测试区域为接待区、客户包房区域；f)工业园区的主要测试区域为员工宿舍、公共活动区域；g)学校的主要测试区域为主教学楼、宿舍楼和图书馆；h)交通枢纽的主要测试区域为机场大厅，到达区，火车站售票厅、休息区，大型地铁中转站点；(4).GPS定位：测试人员进入楼宇前需首先进入GPS定位、上报测试点。(5).测试仪表及数据处理：必须使用集团集采或业内成熟的测试仪器仪表，数据处理采用集团自动路测平台、商用终端平台进行统一汇总统计。3.3测试时间城区、干道、室内测试需在8:00-22:00进行（新疆和西藏延后2个小时）；高速测试安排在每天7：30-19：30之间进行（西藏和新疆向后推迟2个小时）；铁路测试根据铁路客票情况安排。10附件附件1彩信发送图片（大小为12KB）彩信发送图片.JPG附件2HTTP浏览业务网站列表（公网）网站名称网站地址新浪网备注：前6个网站为必选项，后面12个网站随机选择4个，保证以上所有都遍历测试。附件3邮件发送业务附件（5MB）5MB.rar附件4城市分类一类城市列表（16个）上海天津广州南京重庆郑州苏州长沙北京武汉深圳西安成都沈阳杭州青岛二类城市列表（84个）省二类城市省二类城市省二类城市广东佛山陕西咸阳黑龙江哈尔滨汕头江苏无锡大庆东莞徐州齐齐哈尔揭阳常州河南洛阳惠州南通新乡湛江镇江南阳12珠海扬州安阳中山河北石家庄贵州贵阳江门保定遵义茂名唐山广西南宁浙江温州邯郸柳州宁波秦皇岛桂林金华福建福州安徽合肥绍兴厦门芜湖台州泉州云南昆明嘉兴漳州曲靖山东济南内蒙古包头丽江烟台呼和浩特西藏拉萨淄博鄂尔多斯四川绵阳潍坊辽宁大连德阳临沂鞍山山西太原东营营口大同济宁锦州青海西宁湖北黄石宁夏银川吉林长春襄阳江西南昌吉林新疆乌鲁木齐九江湖南湘潭昌吉赣州株洲13甘肃兰州海南海口衡阳14三类城市列表（100个）安徽马鞍山河南许昌江苏盐城山东泰安蚌埠