G用户体验质量QoE体系原理及优化指导书V1

4G用户体验质量QoE体系原理及优化指导书中国联通广西分公司Page2/Total3112016年4G网络QOE算法简介和考核目标1.1指标简介：4G时代已经来临，网络建设持续发力、客户挖掘和发展加之各类新兴APP业务的多样性（智能终端的快速普及和微信、视频、证券、云盘等新兴移动互联网业务应用的日趋丰富），用户对移动数据业务使用体验的要求愈来愈高。因此，需要进行对用户使用的主流业务进行科学的量化和评价，以便进一步进行客户感知量化管理和端到端短板问题挖掘及精准优化。为了紧密贴近用户上网实际感知，必须要转变网络质量管理方式，不仅关注网络性能，更要关注业务质量与用户感知的量化评价。本次基于单用户单次会话控制面和业务面（S1接口、S11接口、S6A接口信令）全流程事件构成感知评价要素，从接入性（Accessibility）、完整性（Integrity）和保持性（Retainability）三个部分的用户感知关键指标KQI来构建4G客户QoE（用户的体验质量）评估体系，以通过QoE的量化的形式来评估用户感知的好坏程度，并对评估出感知差的用户、站点/小区、SP进行全程全网端到端的分析优化，从而提升用户的上网感知，即让用户上网时获得“上得去，不中断，速率快”的良好体验。2016年4G网络客户业务QOE评价算法变化情况描述：本次主要根据浏览、视频、应用下载和即时通信业务实际特性，主要基于各类业务QOS要求特性，例如：交互类时延要求低、会话类时延要求高、视频类速率码率和清晰度速率差异要求。针对接入性能、完整性能和保持性能进行门限重新定义，更加适合现有客户满意度需求，通过无线、核心网络和业务层面优化，达到进一步提升客户满意度和业务感知的目的。（1）浏览业务小包时延和大包感知权重进行优化，根据小包流量和大包流量、小包次数和大包次数比例和流量贡献情况，适当增加大包速率感知权重，由前期小包：大包=65%：35%优化为小包：大包=20%：80%；（2）视频业务四大APP（乐视、优酷、爱奇艺、腾讯）进行标清、高清、超清、1080P测试验证，15年以标清视频为基准进行视频感知制定，由于客户使用高清视频比例达到65%左右，因此2016年以高清视频感知需求为基准，制定了贴近业务需求的速率感知门限，更加准确的评价视频客户使用业务感知高低。（3）应用下载大流量业务速率感知提升，为了进一步保障和提升4G存量客户感知，适当提升大包数据感知门限，例如8M应用下载业务优秀门限由2.6Mbit/S提升为4Mbit/S。中国联通广西分公司Page3/Total311.2考核目标：4G业务QOE以1月QOE百分制得分为基准，各地市每个月目标为在一月份基础上，百分制得分增加1%为达到考核目标（举例：2月份为在1月份基础上增加1%，三月份基础上增加2%，以此类推，如果改月QOE得分增加比例达到1月基础的百分比例，即为考核达标）；如果按照一月份基础上，某月增加的百分制数值达到90分，默认为达到考核目标）24G客户业务体验QoE实施背景传统的KPI只能集中反映网络设备的性能（控制面），很多时候存在KPI很好但业务质量不佳的情况。而KQI聚焦用户面和控制面，更能贴近用户的业务质量和用户体验，而QoE则是由各类业务（如浏览类、视频类、下载类等）的主要KQI构建而成，即相对传统的KPI更能贴近用户的真实上网感知。即KPI主要评估的是网络管道的质量，而QoE/KQI则是评估网络管道内的业务质量。如网页浏览的KQI模型：中国联通广西分公司Page4/Total31用户上网的主要信令流程：3QoE体系建立思路描述一套体系：本次的QoE（用户的体验质量，QualityofExperience，QoE）主要针对浏览类业务、中国联通广西分公司Page5/Total31视频业务、应用下载业务、即时通信业务进行基于上网业务全流程KQI（关键质量指标）感知评估。QoE体系的建立思路主要为：各类业务接入、完整、保持性能的KQI指标选取及定义、各类业务的KQI指标门限及权重的选择、QoE体系的计算。两级定界：在QOE模型建立中，全面引入表征QI（业务指标），基于IUPS接口进行KQI质量问题分析，一级问题定位界：针对网络、客户、终端和SP等维度QOE评价差的网元、客户、终端和SP进行S1接口以上和以下质量问题定位，S1接口以上问题表征QI为：上行SYN时延、上行RTT时延、上行重置率；S2接口以下问题表征QI为：下行重传率、下行RTT时延、下行重置率和单位流量切换次数，鉴权失败S6A接口指标关联，短信、语音被叫感知SGS接口指标关联,；二级问题定界：S1接口ATTACH、PDN、默认承载建立、承载修改和业务请求失败CAUSE关联细分，结合设备KPI进行感知具体影响因素分析，业务质量侧SP失败代码关联分析确定服务器侧具体问题，无线侧基于网络接入KPI（关键性能指标）保持KPI和完整性能KPI，关联无线侧容量、编码配置、功能参数、无线质量和移动性能相关表征PI（性能指标）进行具体问题核查和优化。三个层面：基于端、管、云优化思路，在QOE模型基础之上，业务维度与端（VIP客户维度，热门终端维度）管（网络、小区、ENODEB、MME、SGW、PGW、APN维度、3GNET路由维度、SP落地维度）云（热门业务SP维度、服务器参数设置维度、分布式服务器落地性能分析）。进行QOE评价和QI关联输出QOE感知差客户和终端、小区和设备、业务和服务器，进一步进行各专业协作分析和优化。备注：在有资源条件下，基于各类业务主流终端主流业务测试QOE感知常态工作，在后期体现，力求做到全网评估QOE与测试QOE基本吻合。3.1QOE百分制算法介绍4G客户QOE百分制按照四类业务感知评价分值进行聚合计算，计算地市维度、小区维度、终端维度和SP维度QOE得分，浏览业务、视频业务、应用下载和即时通信四类业务权重占比为：浏览业务30%、视频业务30%、应用下载30%和即时通信10%。QOE得分=浏览业务QOE得分*30%+视频业务QOE得分*30%+应用下载QOE得分*30%+即时通信QOE得分*10%。中国联通广西分公司Page6/Total313.2浏览类业务QoE模型构建3.2.1浏览业务QOE感知评价模型介绍基于S1/SGS/S6A接口平台的数据业务感知评估方法解决传统无线指标单纯面向设备、无用户面指标和指标对用户感知不敏感等问题，将用户主观层面的感知转化成可量化移的动互联网业务各阶段信令流程指标性能进行评估，主要信令指标按照一般上网流程划分三类，包括业务接入KQI指标（ATTACH、PDP、DNS、SYN、GET）业务完整性能KQI指标（GET和POST感知速率和时延）和保持性能KQI指标（TCP重传率、TCP重置率和IU-RELEASE掉线率），上述三类指标量化后系数加权值作为数据业务上网感知性能（QOE）的最终数值。表1：浏览业务QOE评估体系—考核KQI子项权重和感知门限KQI子项KQI子项权重QI门限QI权重优秀良好正常差接入性KQI30%E-RAB建立成功率(%)99.5%99.3%-99.5%99%-99.3%99%10%PS寻呼成功率(%)93%90%-93%88%-93%88%5%TAU成功率(%)98%97%-98%95%-97%95%10%attach成功率(%)99.5%99.3%-99.5%99%-99.3%99%10%PDN建立成功率(%)99.5%99.3%-99.5%99%-99.3%99%10%bearer成功率(%)99.5%99.3%-99.5%99%-99.3%99%10%中国联通广西分公司Page7/Total31更新承载成功率97%96%-97%94%-96%94%10%Service_request成功率(%)99.5%99.3%-99.5%99%-99.3%99%10%DNS成功率(%)92%90%-92%85%-90%85%10%SYN成功率(%)95%93%-95%90%-93%90%5%HTTP_GET成功率（%）95%93%-95%90%-93%90%10%完整性KQI50%100K数据包时延（小包）300300-330330-38038020%200K速率22001800-22001500-1800150080%随即计算300K速率30002500-30001500-25001500随即计算500K速率40003500-40002500-35002500随即计算800K速率40003500-40002500-35002500随即计算1024K速率40003500-40002500-35002500随即计算2048K速率40003500-40002500-35002500随即计算2048K速率60005000-60003000-50003000随即计算保持性KQI20%TCP下行重置率0.3%0.3%-0.4%0.4%-0.5%0.5%40.00%TCP下行重传率0.8%0.8%-1.1%1.1%-1.5%1.5%30.00%UE异常掉线率0.2%0.2%-1%1%-5%5%30.00%3.2.2浏览业务QOE数学模型介绍QOE=QOEa+QOEb+QOEc浏览业务QOE计算模型中QOEb、QOEb和QOEc分别是指业务接入性能子项QOE值、业务完整性能子项QOE值和业务保持性能子项QOE值，其中：QOEc=X*业务保持性KQI值、QOEb=Y*业务完整性KQI值、QOEa=Z*业务接入性KQI值，X、Y、Z值为各子项业务KQI值系数权重因子，X+Y+Z=1。中国联通广西分公司Page8/Total313.2.3浏览业务QOE和KQI等级划分根据前期客户投诉在接入、完整和保持方面权重以及业务感知实际需求，定义X=30%，Y=50%，Z=20%。（1）浏览业务QOE感知等级门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；（2）浏览业务QOE由接入KQI、完整KQI和保持KQI构成，权重为：30%、50%、20%；（3）接入KQI、完整KQI和保持KQI感知等级门限如下。接入KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；完整KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；保持KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分。KQI感知门限划分原则：定义KQI得分小于差值门限为“感知差”等级，KQI得分大于差值小于良好值定义为“达标”等级，KQI得分大于良好值门限小于优秀值门限定义为感知“良好”等级，KQI得分大于优秀值门限定义为感知“优秀”等级。3.2.4浏览业务KQI计算模型描述（1）接入性能KQI评估简介如下表所示，通过S1接口平台统计对应维度（本次统计为全网区域和小区级别）子项KQI指标值，在制定KQI对应业务流量子项KQI感知门限后，根据QOE计算模型计算公式对业务感知进行评估打分（百分制），各子项KQI权重加权获得接入性能KQI感知得分，输出接入性能KQI感知等级。业务接入性KQI值中国联通广西分公司Page9/Total31=R1∗ERAB成功率+R2∗寻呼成功率+R3∗TAU成功率+R4∗ATTACH成功率+R5∗PDN成功率+R6∗默认承载成功率+R7∗业务请求成功R7+承载修改成功率+R8+R9∗DNS成功率+R10∗SYN成功率+R11∗GET成功率。其中:ERAB建立成功率、寻呼成功率、TAU成功率、ATTACH成功率、PDN成功率、默认承载建立成功率、业务请求成功率、承载修改成功率、SYN连接成功率、DNS成功率和GET成功率作为各自单项KQI量化值，表达式如下：R1+R2+R3+R4+R5+R6+……+R11=1(R1,R2,R3….为ATTCH业务\PDN\DNS等KQI的权重因子)。本次加大ERAB、ATTACH成功率、默认承载建立成功率和GET功率权重（RAB