运营商大数据典型业务场景

©2013IBMCorporation运营商大数据典型业务场景运营商面临的挑战移动互联网时代，运营商传统增值业务的“后花园”围墙已经倒塌，运营商苦心经营的通讯网络，成为互联网企业甚至独立开发人员和团队的“蓝海”，终端、应用APP成为主角，传统业务如：语音和短信等也被逐渐蚕食。运营商在移动互联网价值链中被边缘化，网络的流量与收入之间的落差越来越大，即常言所说的“被管道化”。运营商的创新策略途径有三方面：途径一：进一步压缩网络运营成本，运营商利用大数据分析能力，对网络运营实现以投入产出比为导向的优化，是降低运营成本的重要途径；途径二：拓展新业务，进入OTT业务范围，运营商利用大数据分析能力，转型营销模式，结合客户行为分析实现个性化、定制化和精确化营销；途径三：对流量进行整合，以智能管道为目标，通过业务创新获得流量价值，运营商利用业务分析和集成能力，建设以业务策略为导向、大数据平台为基础的智能管道架构设计和业务创新的设计。电信运营商的大数据业务应用BSS域:计费系统架构优化、上网详单查询、内容计费OSS域:实时信令检测、无线网络优化EDA域:流量分析、实时流量预警、轻量级数据汇总、批量数据关联、历史数据查询MSS域:企业大数据检索市场与营销（MBO）:客户洞察、互联网行为分析、位置分析、实时营销、舆情分析3BigData计费流程4固网业务移动业务数据业务其他业务原始话单预处理采集批价合帐优惠入库查询帐务采用大数据分布式处理技术优化现有计费系统架构，支持流量计费与海量上网详单存储于查询CMNSDsPQNSDsSQNSDsNSDsNSDsNSDsFSM服务器集群机架1机架2磁盘存储NSDsQNSDsQ-仲裁节点P-主配置节点S-备用配置节点…………CM-集群管理节点NSDs-存储节点FSM-文件系统管理节点海量分布式数据存储与分析平台流量话单文件批量快速加载入HBASE批量快速加载入HBASE详单查询流量预警汇总分析…不断增大支持分级存储、生命周期管理、快照、复制、全兼容文件操作.计费系统架构优化计费流程5固网业务移动业务数据业务其他业务语音话单预处理采集批价合帐优惠入库查询帐务采用大数据分布式处理技术优化现有计费系统架构，支持流量计费与海量上网详单存储于查询CMNSDsPQNSDsSQNSDsNSDsNSDsNSDsFSM服务器集群机架1机架2磁盘存储NSDsQNSDsQ-仲裁节点P-主配置节点S-备用配置节点…………CM-集群管理节点NSDs-存储节点FSM-文件系统管理节点海量分布式数据存储与分析平台详单查询流量预警汇总分析…支持分级存储、生命周期管理、快照、复制、全兼容文件操作.流量话单装载流量话单文件批量快加载入HBASE计费系统架构优化-续流量话单6CMNSDsPQNSDsSQNSDsNSDsNSDsNSDsFSM服务器集群机架1机架2磁盘存储NSDsQNSDsQ-仲裁节点P-主配置节点S-备用配置节点…………CM-集群管理节点NSDs-存储节点FSM-文件系统管理节点海量分布式数据存储与分析平台流量话单文件装载流量话单文件实时流量预警流量预警预处理采集批价查询实时流量汇总实时流量累计对比预警用户流量监控表基于历史数据挖掘预测设定预警阀值批量快加载入HBASE©2013IBMCorporation77预处理中心可查询的归档存储海量归档历史数据数据仓库实时流数据处理海量数据着陆区数据仓库结合非结构化信息数据仓库1查找和查看数据数据探索微秒级延迟的在线分析数据分析数据挖掘数据挖掘报表展现探索性分析23与传统数据仓库的融合汇总存储海量结构化、非结构化数据8Ingest数据缓冲、分析、沙箱区Indexes,facetsHive/HBaseColStoresDocumentsInVarietyofFormatsAnalyticsMapReduceRepository,Workbench实时数据摄取与提炼区DataSinksFilter,TransformIngestCorrelate,ClassifyExtract,Annotate数据仓库区EnterpriseWarehouseDataMartsQueryEnginesCubesDescriptive,PredictiveModelsModelsWidgetsDiscovery,VisualizerSearch数据分析区元数据与数据治理区连接器整合的经营分析平台架构©2012IBMCorporation9DPI爬虫Internet分词URL词库URL分类库网络信令URL分类上网日志上网话单(含URL标签）客户资料数据业务流量流向等分析挖掘工具URL分析App应用分析流量分析客户消费分析关联分析挖掘预测…数据集市高扩展、实时流计算引擎对海量上网日志实时分类和打标签流计算引擎处理URL，实时分词分布式海量数据存储与分析平台，提供对海量上网话单的高效存储和查询访问BigInsight强大的统计分析展现与数据挖掘平台内存数据库提升URL分类库的比对性能ETL与数据仓库解决方案BigSQL/DataStage/ISAS/Netezza互联网行为分析©2010IBMCorporation10RawData1.CDR_SMS2.CDR_Voice3.Network4.IN5.ReloadENDPOINTS1.CallCenter2.SMSC3.Email4.IVR5.Etc.EventCodeSubscriberNo.011380110020001139020230080213504212345Etc.。。。。。RealTimeAnalyticalProcessingPromotionEventTablesRepository1.RealTimeEventsmonitoring2.Insertdetecteddataintoeventtables3.UnicatimelyscantheeventtableforeventbasedCampaignprocessingMethod1：Streams&UnicaintegrateviadatabasetablesEventCodeDescription013dropcallswithin1days025Internationalcallwithin3daysEtc.。。。。。eventtables4.StreamsdirectlytriggerUnicapre-definedtriggersforeventbasedCampaignprocessing基于流计算的实时营销Method2：Streams&UnicaintegrateviatriggerUnicatriggers©2010IBMCorporation大数据平台数据分析展现通过Stream流计算集群对短信数据流中的失败标志位进行实时过滤将失败短信（包括失败原因）加载到HBASE展现前台对分析结果进行呈现BigInsights存储海量失败短信基于流计算的失败短信处理失败短信实时过滤全量短信数据流失败短信数据加载短信网关短信详单©2012IBMCorporation12StepDescription1OfflineAnalyticToolkitbuilttheinitialwhite,blackandgreylists2SMSrecordsofsendersingreylistornewnumberswillbesenttoRealtimeTemporalPatternAnalyzer3SuspiciousnumberssenttoTopologyGraphAnalyzerforsocialnetworkanalysis4StatisticalresultsarevisuallydisplayedwithOnlineDecisionSupportTool5Operatorfinallyidentifiesspammers6OperatorupdatesWhite,blackandgreylists垃圾短信检测器离线垃圾短信分析在线垃圾短信分析短信中心白名单黑名单新号码灰名单社交网络分析决策支持展现统计分析与社交网络分析结果，帮助运营商最终确认垃圾短信号码后台系统计费CRM经分AdminNetwork基于历史数据的垃圾短信预测分析236145实时短信记录时序分析流计算处理与社交网络分析模型实现精准垃圾短信处理©2012IBMCorporation1313ForresterWave关于大数据的报告©2012IBMCorporation14企业级大数据平台BigInsightsInfoSphereDataExplorerNEW&BUNDLED:Indexingand“ontheglass”integrationInfoSphereStreamsBUNDLED:Enablesreal-time,continuousanalysisofdataontheflyInfoSphereGuardiumNEW:AuditingNetezzaNEW:QueryandjoindatausingUDFsCognosBusinessIntelligenceNEW&BUNDLED:SupportforHive;BusinessIntelligencecapabilitiesInfoSphereBigInsightsAdministration&SecurityWorkloadOptimizationConnectorsAdvancedEnginesVisualization&ExplorationDevelopmentToolsOpensourceHadoopcomponentsInfoSphereDataStageDatacollectionandintegrationPlatformComputingNEW:Highperformance,low-latencyplatformcomputinggridRNEW:ApplicationthatallowsuserstoexecuteRjobsdirectlyfromBigInsightswebconsoleDB2andJDBCHighspeedparallelread-writeforDB2andJDBCconnectivityWebSphereNEW:WAS8.5LibertyProfile–highperformancesecureRESTaccessRational&DataStudioRAD,RationalTeamConcert&DataStudiocollaborativedevelopmentintegrationDataIntegrationBigDataPlatformIntegrationApplication&OtherIntegration15ThankYouMerciGrazieGraciasObrigadoDanke日语英语法语俄语德语意大利语西班牙语巴西葡萄牙语阿拉伯语繁体中文简体中文印地语泰米尔语泰语韩语