基于大数据技术的流量分析平台方案研究

2014/08/DTPT——————————收稿日期：2014-06-12基于大数据技术的流量分析平台方案研究关键词：大数据；Hadoop；流量分析；流量经营中图分类号：TN919.5文献标识码：A文章编号：1007-3043（2014）08-0022-04摘要：数据产业进入了高速增长期，实现海量的数据流量分析经营成为运营商需迫切解决的问题。借助大数据相关技术，基于Hadoop架构体系提出了一套流量分析平台设计方案，并提供了详细的软件功能方案和基础架构方案，以期指导运营商流量分析类平台的落地建设。Abstract：Dataindustryhasusheredhigh-speedgrowera.Itisanurgentissueforoperatorstorealizeentiremassofdatatrafficanalysis.Basedonbigdatarelatedtechnology,itpresentsasetoftrafficanalysisplatformdesignsolutionbasedonHadooparchitecturesystem,andpresentsdetailedsoftwarefunctionsolutionandbasicarchitecturesolution,toguidetheconstructionofoperators’trafficanalysisplatform.Keywords：Bigdata;Hadoop;Trafficanalysis;Trafficmanagement1概述随着移动互联网业务的飞速发展，视频、音乐等大流量应用得到了越来越多用户的使用，数据产业进入了高速增长期。截至2013年12月，中国手机网民规模达5亿，通过手机端在线收看或下载视频的用户数为2.47亿，与2012年底相比增长了1.12亿，增长率高达83.8%［1］。目前各电信运营商大力建设3G、4G等高速网络，助推移动互联网业务以超乎想象的速度发展；但电信运营商从此中获得的收益却并不大，而移动互联网业务，特别是OTT业务的蓬勃发展却对运营商传统业务（如短信、语音业务）形成了猛烈冲击。为适应这一剧烈变化的竞争环境，电信运营商对流量与信息经营需求较为迫切，也面临着巨大的挑战。a）互联网流量迅猛增长，产生了大量用户通信行为等数据，对海量数据的处理能力带来挑战。b）业务融合、基础能力互通带来各类型数据的交叉融合，对数据的关联分析计算能力带来挑战。c）跨领域的业务扩展和客户体验管理对海量数据的及时分析能力带来挑战。d）对用户和互联网应用感知力差，如何吸引高价值用户，实现流量增值也是巨大的挑战。大数据通常定义为一个企业或组织对其所创造的海量结构化、半结构化与非结构化数据的存储和分析，其目的在于从复杂的数据中找到其关联、规律，并加以利用［2］。大数据技术为海量数据的实时分析处理提供了一种高性能、低成本、易扩展的解决方案，为运营商海量互联网流量经营数据的分析处理提供了技术基础。彭庆（华信邮电咨询设计研究院有限公司，浙江杭州310014）PengQing（HuaxinConsultingCo.，Ltd.，Hangzhou310014，China）ResearchonTrafficAnalysisPlatformSolutionBasedonBigDataTechnology本期关注MonthlyFocus彭庆基于大数据技术的流量分析平台方案研究22邮电设计技术/2014/08本文将基于大数据相关技术提出适用于运营商的互联网流量分析平台解决方案，为运营商相关平台的建设提供技术架构和功能部署方面的参考，以期推进大数据技术在流量经营领域的应用。2流量分析平台目标定位互联网流量分析平台定位于对上层业务运营管理提供高效支撑，以降低网络带宽压力，避免网络拥塞，改善用户体验，提供差异化服务。互联网流量分析平台主要实现以下目标功能。a）流量流向可视。实现业务流量全程可视，如省份、运营商、网络类型等。b）业务热点洞察。实现热门业务的统计分析，如访问量最高的网站、业务或应用等。c）用户特征挖掘。实现用户维度的特征分析，如用户习惯、上网地点、终端类型、偏好业务等。d）网络质量监控。监控网络质量，实现资源利用率、网络质量等分析监控功能。e）管控策略支撑。分析流量和带宽占比较高的业务、应用或用户，指导流量管控策略制定。3流量分析平台技术架构基于大数据技术的流量分析平台底层部署云化的数据预处理能力（ETL），引入流处理技术、Hadoop分布式文件系统、MPP数据库等技术，构建流量数据的统一运营平台。流量分析平台技术架构如图1所示。流量分析平台底层硬件资源基于廉价的通用X86服务器部署，其上的大数据层基于开源的Hadoop分布式体系构建，并根据需求做一定封装和订制开发；处理后的数据根据支撑能力需求提供数据服务。平台软件功能架构如图2所示。4基础架构方案流量分析平台基础物理架构可以包括源数据系统图1流量分析平台技术架构图2流量分析平台软件功能架构·P2P下载/流媒体流量管控效果分析·VoIP业务流量及管控效果分析·网络优化效果分析·网元流量分布分析和忙闲时带宽利用率分析·网站访问质量分析·最差小区分析·最差热点分析·重点业务质量分析·异常流量分析·网络安全分析·单用户/大客户/重点用户群的流向分析、流量业务构成及趋势分析·用户位置区域分析·用户兴趣分析·用户网页访问分析·用户终端使用分析·业务应用构成及趋势分析·协议分布趋势分析·预定义（特定）网站/ICP/一级、二级域名/URL分析·域名下协议分析·竞品业务分析·链路流量趋势分析·ICP流向、业务构成及趋势分析·IP、端口、虚通道流量和流向监控·IDC流向运营商/移动内部分析·重点业务流向分析管控策略支撑网络质量监控用户特征挖掘业务热点洞察流量流向可视分布式文件系统HDFS系统监控工作流监控数据流监控监控数据库计算单元流式计算单元数据预处理单元分布式计算实时数据处理分布式并行计算临时结果存放（HDFS）HDFSAPI库M/R功能组件元数据管理表达式引擎FTP能力支撑数据装载数据转换数据抽取流程组织表达式定制工作流建模数据流建模业务配置流程引擎本期关注MonthlyFocus彭庆基于大数据技术的流量分析平台方案研究232014/08/DTPT（包括互联网、无线接入网络、信令数据系统及其他已有的互联网流量数据所在系统）、运营商内部相关系统（如计费、网管、安全等）、核心网络（核心交换机、边界防火墙）及X86服务器4部分。平台采用全X86架构，不需要部署UNIX服务器及SAN磁盘阵列设备，系统组网结构如图3所示。流量分析平台内部服务器包括Hadoop集群和其他基础服务器两类。其中平台的数据预处理、数据整合、分布式文件系统、分布式数据库、流处理等均基于Hadoop服务器集群实现，Hadoop集群可根据带宽需求划分多个集群（图3为2个集群）；流量分析平台除Ha⁃doop服务器集群外仍需部署一部分常规X86服务器，如管理服务器、Web服务器等。综合上述分析，结合目前市场上设备配置情况，建议配置下列流量分析平台设备。a）边界防火墙。2台万兆级防火墙，单台配置12个GE电口、4个10GE光口。b）核心交换机。2台三层高端交换机，单台配置96个GE电口、20个10GE光口。交换机端口数量可根据平台规模灵活配置，对于较大规模的场景还可区分核心交换机和接入交换机2个层次。c）Hadoop集群服务器。包括冷数据集群（集群A）和热数据集群（集群B）。（a）冷数据集群（集群A）•NameNode：2台X86物理服务器，单台2个4核CPU、32G内存、12×2TB硬盘、2个GE网口。•DataNode：X86物理服务器（数量根据需求配置），单台2个4核CPU、16G内存、12×2TB硬盘、2个GE网口。（b）热数据集群（集群B）•NameNode：2台X86物理服务器，单台2个8核CPU、64G内存、12×2TB硬盘、4个GE网口。•DataNode：X86物理服务器（数量根据需求配置），单台2个8核CPU、64G内存、12×2TB硬盘、2个10GE网口。d）其他服务器。X86服务器（数量根据需求配置），单台2个8核CPU、64G内存、2×300GB硬盘、4个GE网口。5软件功能方案5.1流量流向可视流量分析平台可支撑流量流向可视，实现以下功能。a）对全网出入流量的流向分析。b）分链路/出口流量趋势分析、流向分析、时段分析。c）分业务流量流向分析。d）分用户类型流量流向分析。e）区分各运营商的流量分析。f）特定/重点的ICP/一级域名/二级域名/URL/服务器主机的流向分析。g）IP地址流向分析。h）按端口的流向分析。i）实时监控特定对象的流向总体流量、流量趋势、流量成分等分析。5.2业务热点洞察流量分析平台可支撑业务热点洞察，实现功能可以包括流量分析和专项分析两大类，其中流量分析可实现各类协议（标准/私有）、各业务应用大类/细类的流量分析；专项分析可实现重点业务（如网站分类分析、特点域名等）、重点协议（如P2P下载、流媒体、VoIP业务等）及竞争产品等专项分析。5.3用户特征挖掘流量分析平台可实现对单用户、大客户、重点用户群、自定义用户群组（含IP地址段定义）及不同用户类型（如WLAN、2G/3G、集团专线、家庭宽带等）划分的用户群作为分析目标，并对分析目标群体或单用户进行业务使用、内容偏好、上网行为、终端偏好（类型/品牌/操作系统）、位置区域规律、流向、搜索关键词的多种分析。图3流量分析平台组网图Web服务器管理服务器基础管理集群分布式存储（HDFS/HBase）Hadoop集群B流量分析平台计费系统网管系统/安全管理系统万兆链路千兆链路其他网络和业务系统InternetHadoop集群A分布式存储（HDFS/HBase）本期关注MonthlyFocus彭庆基于大数据技术的流量分析平台方案研究24邮电设计技术/2014/085.4网络质量监控流量分析平台可实现网络质量监控，实现功能可以包括网站访问质量分析、网络最差小区分析、最差热点分析、重点业务质量分析、异常流量分析及网络安全分析等功能。5.5管控策略支撑流量分析平台可实现流量经营相关的管控策略支撑，为战略性产品提供孵化期的网络优先保障，提升用户的体验，特别是高价值用户体验，增加用户黏性。管控策略支撑可以包括P2P下载/流媒体流量管控效果分析、VoIP业务流量及管控效果分析、网络优化效果分析、网元流量分布分析等，通过策略执行效果角度分析，保证用户体验效果，提出策略配置参数的建议等。6结束语本文提出的流量分析平台方案，基于Hadoop体系和通用X86硬件构建，提供了运营商流量经营中所需的基本功能架构方案。本方案无论是基础架构还是软件功能，目前主流厂商的技术实力均可实现，因此具有较强的可操作性。本方案适用于电信运营商互联网流量经营相关的平台建设，无论是为了降低平台构建成本、提高流量管控效率，还是为了探索大数据技术的引入，或是为了支撑流量经营相关的策略制定，都可参考本方案架构进行搭建。参考文献：［1］中国互联网络信息中心（CNNIC）.中国互联网络发展状况统计报告［EB/OL］.［2014-03-11］.［2］赵东晖，李立奇，彭庆.运营商大数据引入方案分析［J］.移动通信，2013（21）.作者简介：彭庆，工程师，硕士，主要从事移动数据支撑、增值业务及云计算、大数据相关咨询设计工作。大连高新技术与中兴通讯共同打造智慧城市：近日，大连高新技术产业园区与中兴通讯股份有限公司签署智慧城市战略合作协议，旨在通过强强联合，推动高新区产业升级和转型，在产业模式、技术创新等领域进行合作。根据协议，中兴依托自身在国内智慧城市领域的建设经验，在高新区落地成立东北区域智慧城市研发运营中心和区域管理总部，在高新区规划建设政府电子政务、企业投融资服务、智慧教育等领域建设智慧