一种基于大数据平台的移动通信信令系统20151110

2015年技术专长培养大数据架构专业1一种基于大数据平台的移动通信信令系统谢识常目录摘要..................................................................................................................21.背景...............................................................................................................22.系统框架........................................................................................................33.系统关键模块..................................................................................................33.1系统采集、解析、存储方式....................................................................43.2数据的建模设计...................................................................................54．数据处理中的关键技术...................................................................................64.1Hadoop基础..........................................................................................64.2基础数据采用Hbase数据库存储..............................................................74.3汇总KPI数据使用Hive构建数据仓库......................................................84.4上层应用查询考虑Impala数据查询工具.................................................94.5Spark计算框架的引入......................................................................114.6硬件架构参考....................................................................................135.结论.............................................................................................................156.鸣谢.....................................................................................错误!未定义书签。2015年技术专长培养大数据架构专业2摘要信令系统是运营商日常运维的重要支撑手段。现阶段数据业务急剧增长，基于传统数据库的信令平台对信令数据的处理越来越困难。本文探讨一种基于大数据平台的移动通信信令系统。先给出系统的主要框架，论述数据处理的流程，已经讨论系统涉及的关键大数据技术，最后给出一个硬件的配置参考样例。1.背景2012年广州在全国率先建设TD-LTE试验网络，2014年广州4G网络正式商用。现阶段数据业务需求猛增、流量急速增涨。移动需要四网协同(WLAN、LTE、3G、2G)，做到集中管理、实时维护网络存在的问题，及时处理网络故障。信令是网络交流的语言，网络的管理与优化需要完善的信令系统的支撑。随着用户、业务、信令数据的急剧膨胀，基于传统数据库的信令系统已经很难满足网络运维优化的实时、存储及分析要求。例如，2015年广州本地信令系统对于4GKPI指标只能做到15分钟粒度的统计，现在客户感知越来越敏感，5分钟内的指标监控能提高网络运维侧响应网络故障与隐患的主动性；此外，随着信令数据膨胀，传统数据库不能做到线性增加，数据库分表、分库操作复杂，存储效率低，广州本地信令系统由于数据库调整造成不可用的时间越来越长；另外，在网络数据的价值挖取当中也缺乏灵活手段，目前只能按几种固定的时空、网元、目的IP等维度的统计。大数据技术的日益成熟，在通信领域运用越来越广。更多运营商开始部署基于大数据平台的信令系统。基于大数据解决方案的信令系统就是在这样的背景下,专门为规划、运维、优化等部门员工提供所需的支撑数据,提供解决方案的综合分析优化平台。对于移动信令分析，大数据首先是面临着越来越多的海量数据挑战；其次，要通过合适的分析处理，从大量数据中分析出工程人员需要的数据，区分出重点数据及非重点数据，分辨出哪些数据是实时需要的，哪些数据是需要存储，为以后工程人员查询所需要的，并形成实时网络性能管理、故障性能告警、客户感知预警、客户投诉处理、市场营销支撑等应用功能及数据模块。本文探讨一种基于大数据平台的移动信令系统。2015年技术专长培养大数据架构专业32.系统框架信令系统通常采取分层结构设计，应用功能松耦合设计，具有优点是缩短应用上线周期，降低开发成本。从下往上分为：采集层、存储计算层、接口层以及应用层。（1）采集层：在移动核心网的主要网络接口部署分光设备，分光器出来的原始信令为原始码流，经由汇聚分流设备后，解析生产原始话单xDR；xDR再经过清洗、抽取、转换操作后入库。采集层可不断扩展，获取更多的数据源。（2）存储与计算层：是整个系统的核心部分，主要解决数据的实时计算、以及xDR话单的长期存储、预统（轻度汇总数据）的生成与存储，其他数据的存储，并通过共享模块，实现数据共享。（3）应用层：可通过多种接口方式，实现与共享层的数据交互。图2.1信令系统分层框架3.系统关键模块应对海量数据的高效处理、存储，多种类型数据的处理2015年技术专长培养大数据架构专业4图3.1数据处理流程3.1系统采集、解析、存储方式1、数据采集与解析原始信令由专门的采集解析服务器对原始信令数据进行采集解析；目前广东采取统一的采取汇聚平台。筛选后的原始信令保存在采集机本地存储，建立信令索引，提供信令回放、信令流程查询。解析后的信令形成XDR，送给信令汇总模块进行关联回填和各种维度的KPI预统计。关联回填后的XDR数据以及单用户单业务记录发送到Hadoop集群存储，利用Hadoop并行列存储的特性，容易实现线性扩容。2、数据存储数据加载集群，可实现xDR等文件的临时缓存。对不同数据采取不同存储方式：XDR话单文件，则使用Hbase数据库+HDFS方式存储(当前存两周)；汇总数据，采用MPP数据库长期存储，使用的是Hive/Impala+HDFS。3、数据装载共享平台前置加载集群，用于接收获取统一采集平台等上传XDR话单文件；通过加载集群，向处理集群提供缓存的原始数据，可用于数据恢复、库外预统；通过加载集群，提供应用层和统一采集平台之间的通道，提供第三方数据接口（简单处理或透传给应用层）。2015年技术专长培养大数据架构专业54、数据处理数据汇总，按照多种维度进行数据汇总提高查询速度，减少存储空间。数据关联处理，多张数据表，多种xDR类型进行联合处理，形成OLAP分析结果数据聚合处理，按全省对各个地市进行聚合等，通过聚合处理，形成OLAP分析结果。数据计算，进行各种维度的KPI指标计算。在处理流程上，可以理解为，我们采用库内，以及库外两种处理方式。3.2数据的建模设计为了满足多样的应用层数据需求，需要对数据建模：多租户模式，为不同权限的用户提供其所拥有访问权限的数据。每种应用都会对其抽象为一个数据模型，系统根据数据模型，生成相关的应用实现。大型信令平台通常在一个省集中部署，须考虑多租户模式。多租户模式容易出现数据和集群资源管理混乱的情况，可考虑建立统一调度平台，实现数据统一化管理，任务合理调度，集群资源按需分配。多租户模式下，数据的安全性是重要问题，集群需要将不同用户的数据统一管理运维，对不同用户的数据进行权限隔离。用户通常是Hadoop集群的省公司内不同部门或者不同地市公司。Hadoop可以对不同文件目录给不同用户赋予不同权限，实现数据统一管理。通常可以建立三级目录：第一级为用户级，不同用户拥有自己的私用目录，每个用户不能访问其他用户，同时设置公共目录，集群用户可访问公共目录。第二级根据数据类型划分，第三级跟进时间划分，对数据规范存放。数据建模体系可以大概按以下分层：1)数据装载层：缓存明细数据，网管数据，根据源系统的数据模型进行建模；2)基础数据层：存储经过处理的明细数据3)数据仓库层：存储基础数据层的汇总数据，根据数据仓库的维度建模4)数据集市层：面向主题分析的汇总数据，面向应用建模采用分层、分功能建模1)原始数据建模使用分布式文件的存储和设计方法2)基础数据和明细应用数据建模使用Hbase的建模方法3)不同维度汇总数据和计算结果使用Hive/Impala的建模方法2015年技术专长培养大数据架构专业6图3.2数据处理模块4．数据处理中的关键技术本小结介绍信令系统中应用的关键技术，包括：Hadoop基础、Hbase、Hive、Impala、Spark。4.1Hadoop基础Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase。1、HDFSHadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统。HDFS是高容错性的，可以部署在低成本的硬件之上，HDFS提供高吞吐量地对应用程序数据访问，它适合大数据集的应用程序。MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是分布式计算框，就是mapreduce,缺一不可，也就是说，可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。Mapreduce是一种编程模型，是一种编程方法，抽象理论。核心包括map函数和reduce函数，map函数和reduce函数是交给用户实现的，这两个函数定义了任务本身。2015年技术专长培养大数据架构专业7map函数：接受一个键值对（key-valuepair），产生一组中间键值对。MapReduce框架会将map函数产生的中间键值对里键相同的值传递给一个reduce函数。reduce函数：接受一个键，以及相关的一组值，将这组值进行合并产生一组规模更小的值（通常只有一个或零个值）。4.2基础数据采用Hbase数据库存储移动信令中的xDR明细数据存入Hbase列式数据库。Hbase是运行在Hadoop上的NoSQL数据库，它是一个分布式的和可扩展的大数据仓库，也就是说HBase能够利用HDFS的分布式处理模式，并从Hadoop的MapReduce程序模型中获益。这意味着在一组商业硬件上存储许多具有数十亿行和上百万列的大表。除去Hadoop的优势，HBase本身就是十分强大的数据库，它能够融合key/value存储模式带来实时查询的能力，以及通过MapReduce进行离线处理或者批处理的能力。总的来说，Hbase能够让你在大量的数据中查询记录，也可以从中获得综合分析报告。图4.1Hbase存储示意图2015年技术专长培养大数据架构专业8HBase不是一