大数据平台规划方案

大数据平台规划方案汇报目录二、大数据平台整体规划一、大数据应用发展趋势大数据所谓“大数据”，指的是所涉及的数据量规模巨大到无法通过目前主流软件工具，在合理时间内达到截取、管理、处理、并整理成为帮助企业经营决策更积极目的的信息。。大数据处理技术代表了新一代的技术架构，这种架构通过高速获取数据并对其进行分析和挖掘，从海量形式各异的数据源中更有效地抽取出富含价值的信息。从大量数据中挖掘高价值知识是各界对于大数据的一个共识。海量数据可广泛获得，所稀缺的是如何从中挖掘出智慧和观点。——Google首席经济学家HalVarian大数据主要被用于分析和决策，企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合，对企业产生新的价值。大数据对电信运营商的应用价值体现31542自助分析、生产管道可视化、资源解耦随需而动，营销实时，以业务效率提升为标志。提升业务效率数据集中到数据中心，多数据源管理，透明服务支持，实时的决策和预测能力提升整体经营管理水平。增强管理水平数据开放服务、与OTT厂商合作的后向收费、广告等新业务.创新商业模式互联网化的电子渠道全景体验、个性化商品推荐、LBS位置营销、面向客户个体的深度洞察提升客户体验以技术驱动为标志，内存计算、MPP、CEP…分而治之的分布式计算让运营商实时高效决策….技术高效、低成本数据平台现状精细化营销数据中心营账系统经分(BI)GN口上网话单终端(DM)VAC短彩信中心语音通话详单客服接触记录流媒体平台详单位置信令话单基站信息116114企业黄页信息渠道应用助销信息①经过一二期的建设，精细化运营平台的数据中心，已经成为最大、内容最丰富的数据仓库；②随着数据量的增长，需要对基础架构做长远规划；③有必要深入挖掘数据价值，研究新的商业模式，将成本中心转化为利润中心5•增量式的、几乎无限的扩展扩展性•要求系统总是在线运行可用性•灵活可动态改变的数据模型灵活性扩展性纵向扩展横向扩展分布式资源集中计算和存储分布可用性单份数据数据复制•不要使用分布式事务处理一致性大数据处理的需求和特点低成本运营一体化运营精细化运营全网运营实时、智能化运营集中化建设、管理和维护可不断线性扩展提高资源综合利用率标准化功能组件，可共享可复用按业务量、按需支付BASS与BOSS、CRM的一体化BSS与MSS、OSS、VAS等跨域一体化对外部客户和应用的一体化片区化、网格化管理长尾市场、小众市场的支撑个性化、短周期需求的满足异地客户、家庭客户、集团客户一点接入、全网服务、全网客户画像全国统一套餐、全网营销、统一客服实时数据获取、处理、分析智能化主动事件触发智能管道移动互联网业务运营发展趋势对业务支撑平台的集中化要求对数据架构的集中化要求集中化、大容量、高扩展、高可用数据库平台：支持全网型数据、跨域数据的整合，形成集中化管理的的企业级数据中心高性能：支持3G时代更高的实时性要求、支持动态资源共享：支持多租户管理、资源动态按需供应可重用、标准化组件：形成可重用组件，支持一次开发、各省共享的模式，形成规模型效益数据集中化趋势使得运营商面临着海量数据的存储及分析问题，大数据在支撑移动业务发展趋势中，充当重要角色。电信运营商数据集中化趋势7电信运营面临的大数据挑战移动互联网和个人消费领域业务扩展和CEM导致海量数据的及时分析带来挑战运营商一体化集中运营和透明管控，催生巨大的经营分析数据仓库，对大数据的存储、性能、开放带来挑战DPI和信令监测，产生的大量事件在存储和用户通信行为分析的实时处理性能带来挑战ICT融合，核心网络、运营支撑和VAS业务数据的融合催生海量UserProfile并集，对大数据的关联分析计算效能带来挑战移动互联网流量井喷与客户行为分析业务融合、能力互通带来数据融合提升客户体验要求分析网络服务数据IT系统集中化和行业数据价值挖掘BSSBI数据：河南17个地市，每天抽取正常用户数7000多万，拨备用户数3000多万，DW层用户表总量1亿多条；语音清单每天2.7亿条数据，GPRS清单每天4.2亿条数据；账务每天4.7亿条数据；GPRS文件每个100M左右，其它文件25M。日接口数据量：2000G，其中话单220G，WAP清单300G，工单服务200G，用户、帐务300G，其它980G。每月124TB数据量入库，历史数据保留1年，总数据量1.45PB。按照用户数简单测算,6.5亿用户下，总数据量》10PB!总部3G互联网访问记录查询及分析系统：全国每日新增10TB数据，每月近万亿条记录，要存放6个月，约2PB的上网记录数据。上网记录入库时间小于30分钟，原始上网记录保留6个月。上网查询速度不高于1秒，并发查询数1000请求/秒。集群规模188个数据节点，存储容量2.6PB传统数据仓库无法有效存储日益增长的业务数据存储需求基础数据（用户资料，产品订购信息）：15G/日*365+40G*12月=5T/年考虑20%的业务增长率后为：6T/年用户上网数据话单数据：250T/年考虑20%的业务增长率后为：300T/年MR数据话单数据：634G/日634G/日*365=227T/年考虑20%的业务增长率后为：272T/年BSS数据评估中2025303540452013年下半年用户流量增长趋势日使用流量（TB）6月10月随着业务发展数据量的增加，随着应用复杂导致的数据量增加，这些数据量导致了数据存储和处理压力；数据仓库无法线性扩容，管理难度加大，成本高扩容压力大，效率下降等传统数据仓库只保存处理后的汇总数据。在大数据架构下需要对用户原始话单进行长期保存。需要扩容大量存储空间。大数据使得现有的数据处理方法面临新问题用户层现平台的数据保存周期大数据的数据保存周期应用层KR/CB/DM层永久保留至少2年数据存储层MK层永久保留至少2年DW层5个月永久保留数据获取层ODS层3~7天永久保留面对海量的数据压力，需要大数据平台提供可供线性扩容的存储能力。每个应用需求的变化就是一场灾难。由于数据处理与业务的紧密关联可能需要对中间每个处理环节进行逐个调整。重新生成数据的周期也非常缓慢。由于传统数据仓库的数据处理流程与业务保持紧密关联。整个数据加工流程为最终应用服务。为缓解存储压力在数据抽取和清洗阶段会过滤掉与业务无关的数据记录和字段。大数据使得现有的数据处理方法面临新问题数据源明细数据层（DW）汇总层（MK）报表数据标签库指标数据客户统一视图……应用层DW&MK操作型数据ODS层Oracle数据库精细化营销架构短信中心经分DMVACGN话单流媒体客服系统计费中心MC话单彩信中心MR数据BSS用户互联网联系方式（总部研究院）241234现网数据平台是传统关系型数据库架构。大量的用户上网、用户行为等半结构化和非结构化数据无法保存和处理，缺乏非结构化数据的处理能力。用户上网行为等互联网行为数据以结构化数据方式保存至数据仓库中。传统数据仓库无法有效应对大数据分析需求1现网每日用户上网HTTP话单达14亿条。每月汇总的记录条数也近30亿条。随着移动互联网正在迅猛增长，传统数据仓库将很难驾驭，无法满足数据处理时限和事务处理需求。3面对海量的数据压力，需要大数据平台提供快速的处理能力。大数据使得现有的数据处理方法面临新问题传统数据仓库组网将是大数据分析的瓶颈2*FC1*GE1*GE1*GE1*GE文件接口专线1*GE1*GE2*FC2*FC2*FC2*FC2*FC2*FC2*GE2*GEP550P550存储客服接口消息采集DS5020ETLS9300交换机2*GE1*GE备机1*GENE40E路由器网络爬虫VLAN101*GEGN话单BSS短彩平台VAC消息接口专线位置信令DCNE1000E防火墙开通互联网访问OracleRACP7502*GESAN客服平台渠道应用助销平台1161142*FC存储2*FC2*FC2*FC2*FC炫铃应用商店接口GN话单预处理位置信令预处理1*GEP7402*GEHDS2*GE2*GE数据中心Web应用文件采集物联网Wo商店专线1*GEVLAN20现网精细化营销平台的数据库既存放着所有采集的原始数据，又承担所有的数据加工任务，还承载所有报表和业务应用的数据存储和计算。缺乏对数据分层分级及生命周期的有效管理。系统核心架构为Oracle数据库+小型机+磁阵。数据存放在磁阵上，计算时由数据库服务器从磁阵读到本地后进行计算结果。随着数据量增长，磁盘I/O、网络带宽、数据库服务器的处理能力将存在瓶颈，处理时延严重。由于传统架构的可扩展性差，无法满足大数据的计算的扩容需求。为应对海量数据处理需求，大数据将从集中数据库向分布式数据库进行转变。计算和存储资源都由x86服务器提供。因为在移动互联网和物联网上需要有新领域的突破，不同于传统通信业务分析特点，需要对内容等非结构化、大容量信息进行有效分析，传统的架构处理吃力。关系数据库引入对XML的支持仍然无法有效处理ETL大数据使得现有的数据处理方法面临新问题传统数据仓库无法有效处理新型的业务数据主要关键技术自然语言理解，文本分词、语义分析，情感分析或者大规模计算技术非结构化数据索引技术，如搜索引擎倒排索引技术多媒体处理，包括图像识别，语音识别，多媒体索引等技术……传统数据仓库无法有效支撑数据合作运营由于保存原始话单数据周期较短，合作运营无法追溯历史原始数据。现网传统主数据库的设计只适用与向上层提供既定好的数据分析任务结果。对外开放底层数据将大大消耗系统资源，影响主库正常的数据处理流程。同时数据的处理方式及结果也恐难以满足合作运营的需要。大数据平台的架构将数据分层管理。在各层提供数据开放接口，以满足不同数据需求。将更有效支撑数据合作运营。同时历时数据能促使合作在第一时间就开展起来。目录二、大数据平台整体规划一、大数据应用发展趋势大数据平台目标架构及定位准实时采集批量采集Hadoop平台MPP，基于X86平台主数据仓库分布式数据库基于X86平台数据采集（云化ETL，流数据处理、爬虫）数据层获取层能力层精细化营销智能运营物联网应用应用商店客服应用基础分析能力数据挖掘能力实时分析能力自助分析能力多维分析能力数据共享能力指标应用报表应用主题分析专题分析互联网GN口半结构化、非结构化数据BSS经分DMVACMC话单业务平台结构化数据数据源分布式文件系统HDFS记录明细数据HBaseM/RHive记录汇总数据数据统一服务和开放SQL、FTP、WS、MDX、API、……分布式数据库（MPP）：存储加工、关联、汇总后的业务数据，并提供分布式计算，支撑数据深度分析和数据挖掘能力，向主数据仓库输出KPI和高度汇总数据。主数据仓库（与MPP合设）：存储指标数据、KPI数据和高度汇总数据。Hadoop云平台：负责存储海量的流量话单数据，提供并行的计算和非结构化数据的处理能力，实现低成本的存储和低时延、高并发的查询能力。数据开放接口：向大数据应用方提供大数据平台的能力。数据采集（ETL）：负责源数据的采集、清洗、转换和加载包括：1、把原始数据加载到Hadoop平台。2、把加工后的数据加载分布式数据库和主数据仓库应用层HDFS：分布式文件系统有较强的容错性可在x86平台上运行，减少总体成本可扩展，能构建大规模的应用HBase：非结构化NoSQl分布式数据库基于分布式文件系统HDFS，保证数据安全列式存储，节省存储空间提供大数据量的高速读写操作Hive：分布式关系型数据库数据可保存在HDFS，可提供海量的数据存储类SQL的查询语句，提供大数据的统计和分析操作，适合海量数据的批处理通过MapReduce实现大规划并行计算MapReduce：大规划并行计算引擎可将任务分布并行运行在一个集群服务器中Hadoop平台提供了海量数据的分布式存储与处理的框架。基于服务器本地的计算与存储资源，Hadoop集群可以扩展到上千台服务器。同时，Hadoop在设计时充分考虑了硬件设备的不可靠因素，在