大数据与通信

大数据与通信姓名：学号：CommunicationResearchCenter什么是大数据大数据的“4V”特征12大数据的“4V”特征大数据的时代背景CommunicationResearchCenterfacebook社交网络…淘宝、ebuy电子商务…微博、Apps移动互联…21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。“大数据”的诞生：半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。大数据时代的背景CommunicationResearchCenterTBPBZBEB大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长根据IDC监测，人类产生的数据量正在呈指数级增长，大约每两年翻一番，这个速度在2020年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量数据量增加数据结构日趋复杂这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴大数据时代正在来临..大数据时代到来CommunicationResearchCenterVolume海量的数据规模Variety多样的数据类型StreamsRealtimeNeartimeBatchTBPBEBStructuredUnstructuredSemi-structuredAlltheaboveValueVelocity快速的数据流转巨大的数据价值大数据的4V特征CommunicationResearchCenter大数据怎么用大数据时代的背景大数据的处理过程及关键技术大数据的应用12CommunicationResearchCenter大数据采集大数据预处理大数据储存及管理大数据分析与挖掘•实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等智能感知层•提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。基础支撑层大数据采集大数据的处理过程及关键技术大数据采集CommunicationResearchCenter•将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的抽取•去除无价值数据以及错误数据清洗大数据的处理过程及关键技术大数据采集大数据预处理大数据储存及管理大数据分析与挖掘大数据预处理CommunicationResearchCenter•采用NoSQL（NotOnlySQL）数据库，去除了关系数据库的关系型特性，简化了数据库结构，便于对数据和系统架构进行扩展。开发新型数据库•改进数据销毁、透明加解密、分布式访问控制、数据审计等技术；突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。开发大数据安全技术大数据的处理过程及关键技术大数据采集大数据预处理大数据储存及管理大数据分析与挖掘大数据储存及管理CommunicationResearchCenter可视化分析数据挖掘算法预测性分析语义引擎数据质量和数据管理大数据的处理过程及关键技术大数据采集大数据预处理大数据储存及管理大数据分析与挖掘大数据储存及管理CommunicationResearchCenter通过用户行为分析实现精准营销是大数据的典型应用，但是大数据在各行各业特别是公共服务领域具有广阔的应用前景消费行业金融服务食品安全医疗卫生军事交通环保电子商务气象大数据的应用互联网智能电网CommunicationResearchCenter大数据与通信大数据时代的背景大数据背景下的信号处理大数据驱动下的移动通信网络12CommunicationResearchCenter大数据背景下的信号处理压缩感知降低信号数据量多传感器信息融合处理复杂多源信息智能传感技术提取有价值信号高速信号处理提高信号处理速度[1]《大数据背景下的信号处理》。2013CommunicationResearchCenter压缩感知。它作为一个新的采样理论，通过开发信号的稀疏特性，在远小于Nyquist采样率的条件下，用随机采样获取信号的离散样本，然后通过非线性重建算法完美的重建信号。压缩感知方法抛弃了当前信号采样中的冗余信息。它直接从连续时间信号变换得到压缩样本，然后在数字信号处理采用优化方法处理压缩样本。压缩感知降低信号数据量多传感器信息融合处理复杂多源信息智能传感技术提取有价值信号高速信号处理提高信号处理速度大数据背景下的信号处理CommunicationResearchCenter信息融合原因：•多传感器组网信息量大且单一节点冗余多精度差模型•JDL模型，Byod控制环，瀑布模型，Dasarathy模型，混合模型数学方法•尔曼滤波方法、非线性滤波方法、贝叶斯估计法、证据理论方法、模糊推理方法、随机集理论方法压缩感知降低信号数据量多传感器信息融合处理复杂多源信息智能传感技术提取有价值信号高速信号处理提高信号处理速度大数据背景下的信号处理CommunicationResearchCenter智能传感技术目的•将部分信号处理任务前移至传感器节点,以减轻通信、存储和后续处理的负担实现•一是许多感兴趣的信号的信息量远少于原始数据量,位于高维原始传感数据空间的一个非常低的子集中，智能传感器直接获取这种信息•二是当前,硬件技术飞速发展,使得可以低成本地在传感器节点配置足够的计算资源,来进行信号处理.压缩感知降低信号数据量多传感器信息融合处理复杂多源信息智能传感技术提取有价值信号高速信号处理提高信号处理速度大数据背景下的信号处理CommunicationResearchCenter高速信号处理产生原因–数据量增大•从GSM迁移到LTE,计算量需求从大约10个MOPS(每秒百万次运算)提高到10万甚至100万MOPS,如此才可以提供LTE所要求的10∼100Mbps数据传输性能发展方向•多核信号处理器、高速多处理器互联技术、高性能开放式标准总线架压缩感知降低信号数据量多传感器信息融合处理复杂多源信息智能传感技术提取有价值信号高速信号处理提高信号处理速度大数据背景下的信号处理CommunicationResearchCenter大数据与通信大数据时代的背景大数据背景下的信号处理大数据驱动下的移动通信网络12CommunicationResearchCenter[1]《大数据驱动的绿色通信网络》。2013大数据驱动的移动通信网络提高有限网络资源利用率基于现网大数据的分析与应用大数据的网络承载CommunicationResearchCenter提高有限网络资源利用率—虚拟化目前国际上对虚拟化理论的研究还主要集中在计算机及计算机网络领域．在该领域，研究者主要从计算机逻辑架构的不同层面进行计算机的虚拟化过程，包括指令集层、硬件抽象(hardwareabstractionlayer，HAL)层、操作系统层和应用层当前的虚拟化技术研究主要针对有线网络，无线网络虚拟化仍是一个难题．无线网络虚拟化仍是一个难题．当前的无线接入网络是多种不同的网络垂直独立共存，不同网络支持不同协议，网元节点具有不同属性，如WLAN接入点（AP)和移动通信网络家庭基站(HNB)等．同时，无线接入网络必须支持用户的移动性，这使得业务具有更复杂的突发性和动态变化大数据驱动的移动通信网络CommunicationResearchCenter大数据驱动的移动通信网络无线网络虚拟化ThisdemoexposesseveralwirelessWiFiaccesspointsprovidinguserswithdifferentandspecificservicesfromtheCloud.Eachphysicalequipmentischaracterizedby2GByteRAM,C2D-2.2GhzCPU,4GbpsEthernetnetworkinterfaceandWiFiAtheroschipsetbasedcard.ThevirtualaccesspointimplementsaDHCPserverwhichprovidesIPaddresses(IPv4orIPv6)forusersaskingforconnections.[1]VirtualAccessPointtotheCloud.2012CommunicationResearchCenter•在低业务量时期减少发送时隙•在时域、空域和频域通过动态/半静态优化系统配置无线资源管理•引入宏基站、微基站、微微基站和无线局域网(，WLAN)等混合覆盖的立体分层组网新模式．•在话务热点和深度覆盖盲区，加设微蜂窝基站和微微基站等•在数据话务热点区域大幅度增加WiFi无线接入站点(accesspoint，AP)部署，构建无线mesh网络，网络站点部署大数据驱动的移动通信网络提高有限网络资源利用率CommunicationResearchCenterMobileInternetBigDataPlatforminChinaUnicomChinaUnicom’sbigdataplatform,startingfromOctober2009,hasrecordedmonthlytrafficofmorethan2trillionrecords,monthlydatavolumeisover525TB,andthemaximumdatavolumerecordedhasreachedapeakof5PB.Overallwritingspeedhasreached1390000recordspersecond,andtherecordedretrievaltimeinthetablethatcontainstrillionsofrecordsislessthan100ms.大数据驱动的移动通信网络CommunicationResearchCenterBigDataPlatform大数据驱动的移动通信网络HadoopDistributedFileSystem(HDFS)HBaseCommunicationResearchCenter对运营商的影响大数据驱动的移动通信网络客户洞察业务构架盈利格局谢谢！CommunicationResearchCenter2012年大事记■2012年1月，世界经济论坛年会把“大数据、大影响”作为重要议题。■2012年2月，工信部发布物联网“十二五”规划，把信息处理技术作为4项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析等大数据技术的重要组成部分。■2012年3月，美国政府发布《大数据研究和发展倡议》，拿出两亿美元提升美国利用大数据的能力。■2012年7月，天猫与阿里云、万网宣布联合推出聚石塔平台，以云计算为“塔基”，为天猫、淘宝平台上的电商及电商服务商提供大数据云服务。■2012年8月，美国《连线》杂志报道谷歌新一代交互式大数据分析技术Dremel，称可在3秒内分析PB级数据，比Hadoop快10~100倍，将大数据技术水平向前推进了一大步。随后Dremel其开源版本ApacheDrill也正式启动开发。■2012年9月，百度对外开放核心云能力，向开发者提供百度指数、司南、风云榜、数据研究中心和百度统计五个大数据服务[1]2012年中国通信产业十大关键词点评文章(九)大数据CommunicationResearchCenterBCM21892是博通公司针对智能