11 海量信息存储

2020/6/27通信与信息工程学院1第11章海量信息存储2020/6/27通信与信息工程学院2物联网背景下如何适应海量信息存储的需求，数据中心将成为解决海量数据存储的主要手段介绍典型网络存储体系结构及数据中心的基本概念11.1物联网对海量信息存储的需求11.2网络存储体系结构11.3数据中心11.4典型的数据中心*11.5Hadoop*11.6数据中心的研究热点第11章海量信息存储2020/6/27通信与信息工程学院311.1物联网对海量信息存储的需求2020/6/27通信与信息工程学院411.1物联网对海量信息存储的需求2020/6/27通信与信息工程学院511.1物联网对海量信息存储的需求全球信息总量迅猛增长2007年产生的数据量为281EB（1EB=10亿GB）物联网中对象的数量将庞大到以百亿为单位物联网中的对象积极参与业务流程的需求高强度计算需求数据的持续在线可获取特性导致网络化存储和大型数据中心的诞生2020/6/27通信与信息工程学院611.2网络存储体系结构2020/6/27通信与信息工程学院711.2网络存储体系结构三种基本网络存储体系结构：直接附加存储，网络附加存储，存储区域网络11.2.1直接附加存储（DAS：DirectAttachedStorage）将存储系统通过缆线与服务器或工作站相连包括多个硬盘驱动器，与主机总线通过电缆或光纤连接存储设备和主机总线适配器之间不存在其它网络设备实现了计算机内存储到存储子系统的跨越2020/6/27通信与信息工程学院811.2网络存储体系结构11.2.2网络附加存储（NAS：NetworkAttachedStorage）文件级计算机数据存储架构计算机连接到一个仅为其它设备提供基于文件数据存储服务的网络NAS与DAS的区别DAS是对已有服务器的简单扩展，并未真正实现网络互联NAS则将网络作为存储实体，更容易实现文件级别的共享NAS性能比DAS有所增强2020/6/27通信与信息工程学院911.2网络存储体系结构11.2.3存储区域网络（SAN：StorageAreaNetwork）通过网络方式连接存储设备和应用服务器的存储架构由服务器、存储设备和SAN连接设备组成特点存储共享支持服务器从SAN直接启动2020/6/27通信与信息工程学院1011.2网络存储体系结构DAS：易管理，结构简单；集中式体系结构，不能满足大规模数据访问的需求；存储资源利用率低，资源共享能力差，造成“信息孤岛”NAS：网络存储实体，实现文件级别共享；性能依赖于网络流量，用户数过多，读写过于频繁时性能受限SAN：存储管理简化，存储容量利用率提高；无直接文件级别的访问能力，但可在SAN基础上建立文件系统2020/6/27通信与信息工程学院1111.3数据中心2020/6/27通信与信息工程学院1211.3数据中心维基百科数据中心是一整套复杂的设施。不仅包括计算机系统和与之配套的设备（如通信和存储系统），还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置Google多功能网络建筑物，容纳多个服务器及通信设备。这些设备被放置在一起是因为它们具有相同的环境要求及物理安全需求，并且这样放置便于维护2020/6/27通信与信息工程学院1311.3数据中心大型机微型机大规模数据中心（MegaDataCenter）11.3.1数据中心的起源及发展2020/6/27通信与信息工程学院1411.3数据中心11.3.2数据中心的相关标准数据中心建设的难题如何规划一个新的数据中心？怎样对数据中心进行升级？数据中心的标准对相关经验进行了总结ANSI/TIA/EIA-942（简称TIA-942）：数据中心标准由电信产业协会（TIA）提出，并经美国国家标准学会（ANSI）批准2020/6/27通信与信息工程学院1511.3数据中心1、选址与布局需要考虑的因素建设和运营成本应用需求政策优惠………布局按功能区域划分入口室主分布区水平分布区水平分布区水平分布区设备分布区设备分布区设备分布区区段分布区水平缆线水平缆线水平缆线水平缆线主干缆线主干缆线……电信室办公室，控制中心，支持室主干缆线连接运营商连接运营商水平缆线计算机房2020/6/27通信与信息工程学院1611.3数据中心（1）入口室：放置互联网接入点设备的场所（2）主分布区：核心区域，各个LAN与SAN结构的核心路由器及交换机所放置的区域，同时放置光纤、电缆等（3）水平分布区：主分布区的下层，水平缆线集中点（4）设备分布区：放置服务器和其它设备的机架与机柜（5）区段分布区：水平分布区与设备分布区间的连接点，可放置独立设备（6）主干缆线和水平缆线：各个区域间的连接2020/6/27通信与信息工程学院1711.3数据中心TIA-942规定了缆线系统、能源系统、降温系统、可靠性分级（四个等级，P228~229，表11.1）机柜机柜机柜正面有小孔的地板背面背面正面正面背面有小孔的地板冷通道热通道缆线系统规格如何放置能源系统外部电力供应电池组发电机降温系统降温设备架空地板冷通道与热通道2020/6/27通信与信息工程学院1811.4典型的数据中心*2020/6/27通信与信息工程学院1911.4典型的数据中心*11.4.1Google数据中心每月将近3.8亿用户、30亿次查询每天处理20PB数据、存有数十亿网页地址与个人资料Google站点可靠性超过99.99%全球共建有近40个大规模数据中心单个数据中心需要至少50兆瓦功率，约等于一个小型城市所有家庭的用电量独特的硬件设备：定制的以太网交换机、能源系统等2020/6/27通信与信息工程学院2011.4典型的数据中心*选址考虑大量而廉价的电能有利于获得风能、水利等低碳电能靠近大型水源，为降温设备使用较大面积空地，提供缓冲带，增加保密性与其它数据中心的距离，保证数据高速互连税收优惠自行研发的软件技术：GoogleFileSystem、MapReduce、BigTable等2020/6/27通信与信息工程学院2111.4典型的数据中心*11.4.2GoogleFileSystem（GFS）Google处理超大规模数据密集型应用的分布文件系统GFS的设计观念组件失效不再被认为是意外，而是被看做正常的现象GFS的文件非常巨大对文件的操作具有特定的模式文件系统应用程序编程接口（API：ApplicationProgrammingInterface）和应用程序的协同设计提高了整个系统的灵活性2020/6/27通信与信息工程学院2211.4典型的数据中心*GFS的设计架构ApplicationGFSclientGFSmasterFilenamespace/foo/barchunk2ef0GFSchunkserverLinuxfilesystemGFSchunkserverLinuxfilesystemInstructionstochunkserverChunkserverstate(filename,chunkindex)(chunkhandle,chunklocations)(chunkhandle,byterange).........DatamessageControlmessageGFS集群包含一个主服务器和多个块服务器，并被多个客户端访问文件分成固定大小的“块”。每个块创建时都由主服务器分配一个固定不变的64位唯一标识块服务器把“块”作为Linux文件存储在本地磁盘上，并根据指定的块字节范围对数据进行读写操作2020/6/27通信与信息工程学院2311.4典型的数据中心*主服务器维护所有文件系统的元数据，包括名字空间、访问控制信息、文件到块的映射信息以及块当前的位置。此外，主服务器还控制其它的系统级活动。主服务器周期性与块服务器通信，以下达指令和收集状态GFS客户端代码嵌入到每个应用中，实现文件系统API、主服务器与块服务器的通信，从而代表应用实现读写操作客户端与服务器交互，从而实现元数据操作，但所有数据操作都通过直接与块服务器交互而完成2020/6/27通信与信息工程学院2411.4典型的数据中心*11.4.3MapReduceMapReduce：一种针对超大规模数据集的编程模型和系统用MapReduce开发的程序可在计算机集群上并行执行、处理计算机失效、调度计算机间的通信MapReduce的基本思想用户编写两个程序：Map和Reduce一个在计算机集群上执行多个程序实例的框架2020/6/27通信与信息工程学院2511.4典型的数据中心*MapReduce的执行流程（共7步，P235~236）用户程序masterworkerworkerworker文件片段1文件片段2文件片段3workerworker输出文件1输出文件2输入文件Map阶段中间文件Reduce阶段输出文件2020/6/27通信与信息工程学院2611.4典型的数据中心*11.4.4BigTableBigTable：在海量数据规模下（包含PB量级数据和数千台计算机）管理结构化数据的分布式存储的系统应用Google地球网页索引RSS阅读器2020/6/27通信与信息工程学院2711.4典型的数据中心*每个BigTable都是一个稀疏的、分布式的多维有序图，按行键值、列键值和时间戳建立索引（P236~238）“html...”“html...”“html...”t6t5t3“contents:”“anchor:cnnsi.com”“CNN”t9“CNN.com”t8“anchor:my.look.ca”“com.cnn.”2020/6/27通信与信息工程学院2811.5Hadoop*2020/6/27通信与信息工程学院2911.5Hadoop*HadoopApache开源发布的分布式计算开源框架用于大型集群廉价服务器设备上运行数据密集型分布式应用程序早期是Google文件系统与MapReduce分布式计算框架及相关IT基础服务的开源实现包括多个子项目HDFS、MapReduce、HBase、Chukwa、Pig、ZooKeeper2020/6/27通信与信息工程学院3011.5Hadoop*HDFS（HadoopDistributedFileSystem）系统架构及特点（P239~240）设计前提与目标硬件错误是常态而不是异常流式数据访问大规模数据集简单的一致性模型移动计算比移动数据更经济轻便的访问异构软硬件平台2020/6/27通信与信息工程学院3111.6数据中心的研究热点2020/6/27通信与信息工程学院3211.6数据中心的研究热点2006年Google在数据中心项目花费19亿美元2007年该项支出增加到24亿美元Google俄勒冈州数据中心近100兆瓦的功率，满负荷运行时能耗基本上与纽卡斯尔（Newcastle）全市所有家庭用电量一样研究热点：如何在保证服务质量的前提下降低成本？2020/6/27通信与信息工程学院3311.6数据中心的研究热点基础设施包括能源系统、降温系统、各种防火设备、安保设备等。降低该部分成本涉及机械制造技术或政策优惠等，与计算机学科的关联程度较低在此，分别从服务器，网络设备，能源三个方面对造成高成本的原因和目前的解决方法进行介绍2020/6/27通信与信息工程学院3411.6数据中心的研究热点1、服务器成本（45%）—服务器的实际利用效率较低分配到各服务器的应用不能完全利用某些组件对应用需求的预测比较难，无法做到按需分配为了提高系统的可靠性，一般都留有冗余设备提高服务器利用率的关键在于及时应对需求的动态变化2、网络设备成本（15%）主要来源：传统数据中心使用树形结构，交换机与路由器构成流量瓶颈，且造价昂贵研究热点：新的数据中心网络结构以交换机为中心的多层树形结构：例如Fat-Tree以服务器为中心的互联结构：例如DCell2020/6/27通信与信息工程学院3511