基于客户感知的网络质量评估体系(试行稿)

基于客户感知的网络质量评估体系（试行稿）中国移动浙江公司移动通信网络经过多年的建设和经营，网络质量逐步达到业界较好水平，近几年也一直处于全国领先位置，但是，随着网络技术业务的快速发展和行业竞争的日趋激烈，网络运维工作中出现了许多新特点和新情况，客观上对网络维护管理提出了更高的要求，需要通过不断变革和提升来适应发展的需要。从近几年的实践来看，网络运维管理水平处于不断提升和改善当中，但部分矛盾和管理需求日显突出，主要表现在：1、虽然网络传统KPI指标表现优秀，但由于客户要求的不断提高、网络业务的日趋多样和复杂，客户网络投诉上升较快，如何有效降低客户网络投诉，提升客户网络满意度，已成为亟待突破的运维管理瓶颈；2、传统KPI的持续优化和提升，业已接近理论极限，再度提升边际收益极低，而对于弱覆盖、话音质量差、上网速度慢等用户感知明显的质量问题，又缺少量化的评估分析和跟踪改进手段，原有网络质量评估体系的合理性亟需提升；3、数据业务发展迅速，并因其种类多、变化快、涉及的网元多、用户行为复杂等特点，用传统的网络质量评估方式很难有效反映客户感知，网络质量评估面临新课题；4、网络同质化日趋严重，如何保持相对竞争对手的持续的网络差异化优势面临挑战。为适应新的发展和竞争形势，根据省公司管理层的指示，省公司网络部提出，要坚持以客户为中心，探索和建立“客户感知关键元素”、“网络测试评价手段”和“业务端到端全程衡量指标”三维一体的网络客户感知质量评估体系，实现网络质量评估由技术评价向客户评价的拓展和延伸。2008年上半年，省公司网络部在部分分公司前期实践的基础上，系统组织了基于客户感知的网络质量评估体系研究和探索，进一步明确了体系构建的思路、目的、目标、原则及理论依据等，提出了具体的指标构建和评估方法。一、建立基于客户感知的网络质量评估体系的目的：1.从客户感知的角度更好的评估和掌控全网运行质量，找出省、市、县各级网络业务质量的短木板。2.为实现运维工作从面向设备维护向面向业务维护拓展和转型打好基础。3.指导维护优化工作，改善网络客户感知，降低网络客户投诉。二、建立基于客户感知的网络质量评估体系的原则：1.客户化原则：围绕客户感知设计评估指标体系2.端到端原则：以业务为导向梳理全过程衡量指标3.可测量原则：所有指标都要能客观测量和统计三、建立基于客户感知的网络质量评估体系的理论参考依据：1、欧洲电信标准协会(EuropeanTelecommunicationsSdandardsInstitute简称ETSI)是独立的欧洲地区信息和通信技术(ICT)标准化组织，它将基于客户感知的通信服务技术相关衡量指标（ETR003KQI）定义为如下六个方面：可用度Availability可靠度Reliability速度Speed安全Security简约Simplicity弹性Flexibility这六个方面涵盖了客户对通信服务技术层面的各种体验要素，是建立基于客户感知的网络质量评估体系的基本元素。2、电信管理论坛TMFGB923WirelessServiceManagementHandbook(无线通讯服务管理手册)是电信管理论坛应映2.5G/3G新一代无线数据通讯服务的兴起所提出的一套KPI/KQI设计思路与架构，以及相对应的服务质量管理模型。GB923提及KQI（KeyQualityIndicator）必须要基于服务级别需求，在产品／服务设计的时候就必须要考虑KQI，以及其往下展开来相对应的网络资源KPI，并落实到实际的服务质量分析与考核系统，以建构完整的无线通讯服务管理架构。四、建立基于客户感知的网络质量评估体系的基本思路：贯彻以客户为中心的服务理念，参考ETSI标准和TMFGB923标准，综合考虑网络整体健康度的宏观管理指标和系统设备运行状况的各项关键指标，围绕客户感知梳理和构建涵盖主要业务关键环节的关键指标体系，探索和建立“两个层面、三维一体”的基于客户感知的网络质量评估体系。宏观管理指标方面，主要是对网络故障的严重程度、发生频度和覆盖广度进行综合监控和评估，并在可行和必要的前提下对主要网元和网络组网的负荷指标进行预警管理，从全网宏观层面客观反应客户感知。系统设备运行状况方面，主要从三个维度实施研究和评估：维度一：从业务使用感受的角度提取一系列客户感知关键元素；维度二：从端到端业务维护的角度梳理关键业务环节相关指标；维度三：通过不断丰富和创新网络测试、统计和分析手段，全面反映网络服务质量。上述三个维度相互关联，形成整体，形成客户感知型的网络质量评估体系。五、基于客户感知的网络质量评估体系的具体指标构建：参考上述理论依据，省公司网络部根据多年运维管理实践经验和部分分公司的先期实践经验，组织各专业管理骨干及部分分公司技术专家与生产一线管理骨干，梳理了现网各类网络统计KPI、网络测试KPI等各环节指标，并通过梳理KQI与KPI的对应关系，对指标库进行精选和整合，力求选中的指标更符合客户感知，并同时是网络专业运行的关键指标。通过多次讨论和反复修改，最后初步确定从网络能力与故障、传统KPI指标、主动测试指标（包括各类海量自动拨测系统）、语音质量指标、客户投诉指标、新业务数据业务指标等6个方面，形成基于客户感知的网络质量评估体系的具体指标集。相关的指标具体描述如下：1、网络能力与故障方面：HLR利用率VLR利用率交换核心处理器负荷短信中心负荷彩信中心负荷WAP网关负荷GGSN处理负荷SGSN处理负荷IP承载网带宽利用率业务受阻等效损失话务量短期一般重复故障重大故障指标的定义、数据来源、目标值设定、计分方式、权重、指标负责人等请参考《基于客户感知的网络质量评估体系KPI集（试行稿）》。2、传统KPI指标彩信端到端接通率客户网络满意度掉话率GPRS拥塞小区比例基站退服率无线接入性BSC平均中断时长(分钟/BSC)网管系统下派单处理及时率传输155M及以上系统万2M中断时长(小时/万2M)半速率话务占比机房关键电源系统设备可用度基站电源系统可用度城域网光缆百公里阻断时长(小时/百公里年)指标的定义、数据来源、目标值设定、计分方式、权重、指标负责人等请参考《基于客户感知的网络质量评估体系KPI集（试行稿）》。3、主动测试指标测试网络覆盖率测试MOS话音质量测试网络接通率测试网络掉话率测试单通、回声、串话率指标的定义、数据来源、目标值设定、计分方式、权重、指标负责人等请参考《基于客户感知的网络质量评估体系KPI集（试行稿）》。4、语音质量指标LAC寻呼平均劣化时长（分钟）小区劣化比例上行话音质量(0-5级)下行话音质量(0-5级)小区间切换成功率指标的定义、数据来源、目标值设定、计分方式、权重、指标负责人等请参考《基于客户感知的网络质量评估体系KPI集（试行稿）》。5、客户投诉指标每万用户投诉比投诉处理全程及时率投诉平均历时监控部门投诉直接处理率投诉解决率重复派单率客服满意度客户回访满意度指标的定义、数据来源、目标值设定、计分方式、权重、指标负责人等请参考《基于客户感知的网络质量评估体系KPI集（试行稿）》。6、新业务、数据业务指标手机上网/全曲下载/手机炒股业务：接入网站时长信息刷新时长ATTCAH成功率PDP激活成功率上下行TBF建立成功率PDP掉线率PCDH信道复用度彩信业务：push消息下发成功率彩信下发成功率点对点彩信端到端时延彩铃业务：接续时间彩铃接通率彩铃播放正确率来电助手业务：漏电提醒准确率短信接收及时率开机提醒准确率开机短信接收及时率指标的定义、数据来源、目标值设定、计分方式、权重、指标负责人等请参考《基于客户感知的网络质量评估体系KPI集（试行稿）》。六、基于客户感知的网络质量评估体系的具体评估方法：通过对“网络能力与故障指标、传统KPI指标、主动测试指标、语音质量指标、客户投诉指标、新业务数据业务指标”等6个方面的指标进行汇总统计，对统计结果进行层层分解和多角度审视，寻找网络客户感知的短板。评估体系主要输出如下：1、全省网络客户感知质量指数和6维度短板分析1)全省网络客户感知质量指数通过对6类指标的全省统计汇总，计算出全省网络客户感知质量指数，并对每月情况进行跟踪关注，便于观察全省网络运行情况对客户使用感知的影响程度。质量指数跟踪示意图：8284868890929496981月2月3月4月5月6月7月2)各地市质量指数横向比较对6类指标按地市进行统计汇总，计算出各地市网络客户感知质量指数，进行横向比较并对每月情况进行跟踪关注，反映各地市网络客户使用感知的综合情况和变化情况。质量指数横向比较示意图：707580859095100杭州宁波温州台州金华绍兴嘉兴湖州衢州舟山丽水3)全省网络客户感知6维度短板分析具体分为三个层次。一个层次是6类指标的综合比较，找出哪类指标相对表现相对较差，并可以对每一类指标进行每月跟踪分析。网络客户感知质量指数网络能力与故障（10%）传统KPI（40%）各类主动测试（10%）语音质量指标（10%）客户投诉指标（15%）新业务数据业务（15%）示意图：（6类指标当月表现综合比较）020406080100网络能力与故障传统KPI测试指标语音质量指标投诉指标新业务数据业务第二个层次是每1类指标进行展开分析，特别是对相对表现较差的那类指标进行展开分析，进一步定位短板指标，从而根据指标的具体定义和所涉及的网络范围进行针对性优化。示意图：（以测试类指标为例）60708090100测试网络覆盖率测试MOS话音质量测试网络接通率测试网络掉话率测试单通、回声、串话率第三个层次是对每一类指标按地市进行横向比较。示意图：（如语音质量类指标综合得分横向比较）7580859095100杭州宁波温州台州金华绍兴嘉兴湖州衢州舟山丽水2、各地市网络客户感知质量指数和6维度短板分析各地市网络客户感知质量指数和6维度短板分析方法与全省的分析相仿，横向比较的单位（或地域范围）可延伸到县公司或区域公司（在评估体系逐步完善和相关数据可以获取的前提下），以便进一步定位网络短板的范围和程度，明确优化改进的方向。七、试行基于客户感知的网络质量评估体系的相关说明由于网络质量的评估是一个复杂的系统工程，特别是基于客户感知的质量评估是一项全面创新的工作，各项评估指标筛选、权重设置、数据获取和分析等，都没有现成的模式可供借鉴，虽然在形成试运行体系的过程中，省公司已组织了各专业骨干人员的多次讨论和修改，但是，在评估体系的试运行和摸索完善阶段，肯定会存在一些问题，如指标的合理性、关键性和可测量性方面，如指标的权重设定、目标值设定、测量范围设定等方面。为了顺利推动基于客户感知的网络质量评估体系试运行工作，需要特别说明以下相关事项：1、为了更好地在评估体系中体现客户的实际使用感知，在指标目标值的设定中采用了全省统一标准（不考虑各地历史质量指标数据），并尽量避免不同厂家设备之间的差别，更多采用端到端的指标，更多采用用户投诉的实际数据。同时，传统指标还占有较大权重，主要是考虑到传统指标是多年积累网络设备质量的代表性指标，能够在很大程度上反映网络运行的基本情况。2、试运行基于客户感知的网络质量评估体系，是网络运维管理由面向设备和网络向面向端到端业务维护拓展和延伸的重要措施之一，是体现以客户为中心的网络运营理念的重要方面，各分公司要充分重视、积极应用，要加强相关数据的多层次分析，跟踪和督促评估中发现的网络短板，努力发挥评估体系的作用。3、试运行期间，各分公司及时向省公司反映实际操作中存在的问题，积极提出改进和完善的建议，特别是反映语音质量、新业务数据业务质量以及相关数据的测试统计手段方面，需要全省网络战线的全体同仁发挥集体智慧予以创新和改进，以便省公司不断完善评估体系。中国移动浙江公司网络部二〇〇八年七月