存储基础知识

HUAWEITECHNOLOGIESCO.,LTD.内部公开存储基础知识V1.1HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialPage2培训目标学完本课程后，您应该能：掌握存储的基础知识和技能熟悉存储的各种特性和功能HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialPage3目录1.存储组网形态2.主要协议3.RAID4.磁盘热备与重构5.快照与复制6.数据分级存储概念HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialPage4存储分类封闭系统的存储开放系统的存储内置存储外挂存储Direct-AttachedStorage直接式存储（DAS）Fabric-AttachedStorage网络存储（FAS）Network-AttachedStorage网络接入存储（NAS）StorageAreaNetwork存储区域网络（SAN）HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialDAS/SAN/NAS组网示意图Page5HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialDAS（DirectAttachmentStorage）直接连接存储：存储设备是通过电缆（通常是SCSI接口电缆）直接连到服务器的。I/O请求直接发送到存储设备应用服务器BlockI/OSCSI协议StorageDASHUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialPage7典型DAS结构HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialDAS分析连接简单▬集成在服务器内部；点到点的连接；距离短；▬安装技术要求不高低成本需求▬SCSI总线成本低较好的性能通用的解决方案▬DAS的投资低，绝大多数应用可以接受DAS优势有限的扩展性▬SCSI总线的距离最大25米；最多15个设备专属的连接▬空间资源无法与其他服务器共享备份和数据保护▬备份到与服务器直连的磁带设备上▬硬件失败将导致更高的恢复成本TCO（总拥有成本高）▬存储容量的加大导致管理成本上升▬存储使用效率低DAS劣势HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialNAS（NetworkAttachmentStorage）应用服务器FileI/OIP协议NAS网络连接存储：存储设备连接到现有的网络上，提供数据和文件服务HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialPage10典型NAS结构HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialNAS的优势资源共享构架于IP网络之上部署简单较好的扩展性异构环境下的文件共享易于管理备份方案简单低的TCONAS优势扩展性有限一些应用会占用带宽资源不适应某些数据库的应用NAS劣势HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialSAN（StorageAreaNetwork）应用服务器BlockI/OFCP协议SAN存储区域网络：它是一个用在服务器和存储资源之间的、专用的、高性能的网络体系。它为实现大量原始数据的传输而进行了专门的优化。HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialPage13典型SAN结构HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialSAN的优势实现存储介质的共享非常好的扩展性易于数据备份和恢复▬实现备份磁带共享▬LANFree和ServerFree高性能支持服务器群集技术容灾手段低的TCOSAN优势成本较高▬需要专用的连接设备如FC交换机以及HBASAN孤岛技术较为复杂▬需要专业的技术人员维护SAN劣势HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialPage15DAS/NAS/SAN三种形态比较DASNASFC-SANIP-SAN传输类型SCSI、FCIPFCIP数据类型块级文件级块级块级典型应用任何文件服务器数据库应用视频监控优点易于理解兼容性好易于安装成本低高扩展性高性能高可用性高扩展性成本低缺点难以管理，扩展性有限存储空间利用率不高性能较低对某些应用不适合比较昂贵，配置复杂互操作性问题性能较低HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialPage16目录1.存储组网形态2.主要协议3.RAID4.磁盘热备与重构5.快照与复制6.数据分级存储概念HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidential存储传输的硬件通道有三种：传输通道通过以太网线连接通过SCSI线缆连接通过光纤线缆连接iSCSIHBACardiSCSI磁盘阵列SCSIHBACardSCSI磁盘阵列FCHBACardFC磁盘阵列以太网线SCSI线缆光纤线缆主机GECardHUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialPage18SCSI协议SCSI是小型计算机系统接口（SmallComputerSystemInterface）的简称，主要用于高端系统的连接，现在已完全普及到了小型机及高端服务器。SCSI存储是以主机为中心的；一条SCSI总线上可以串接多台不同类型的设备。SCSI协议可以划分为SCSI-1、SCSI-2、SCSI-3，最新的为SCSI-3，也是目前应用最广泛的SCSI版本。属于SCSI-3的Ultra320SCSI的最高数据传输率已经达到了320MB/s。HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialPage19iSCSI协议iSCSI是互联网小型计算机系统接口（InternetSmallComputerSystemInterface）的简称，是一种在TCP/IP上进行数据块传输的标准，可以理解为SCSIoverIP。iSCSI实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行快速的数据存取备份操作。可用于构成基于IP的SAN，为用户提供高速、低价、长距离的存储解决方案。iSCSI是将SCSI命令封装到TCP/IP数据包中，使I/O数据块可通过IP网络传输。iSCSI的数据包结构：HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialPage20FC协议及组件FC是光纤通道（FiberChannel）的简称，用于服务器共享存储设备的连接，存储控制器和驱动器之间的内部连接。FC是一种高性能的串行连接标准。其接口传输速率目前有1G、2G、4Gbit/s几种标准。传输介质可以选择铜缆或光纤，支持多种互联拓扑结构。FiberChannel组件：HBA卡：HostBusAdapter(主机通道适配器)，FCHBA卡在应用中，相当于SCSI卡。我们后面讲到的node和port就在HBA卡上，FCswitch：光纤交换机，SAN架构中核心设备，连接服务器和存储设备。HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialiSCSI协议的分层结构FC协议的分层结构iSCSI和FC协议层次比较HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialPage22目录1.存储组网形态2.主要协议3.RAID4.磁盘热备与重构5.快照与复制6.数据分级存储概念HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialRAID简介RAID是廉价冗余磁盘阵列(RedundantArrayofInexpensiveDisks)的简称名词说明分区又称为Extent；是一个磁盘上的地址连续的存储块。一个磁盘可以划分为多个分区，每个分区可以大小不等，有时也称为逻辑磁盘。分块又称为Strip；将一个分区分成多个大小相等的、地址相邻的块，这些块称为分块。分块通常被认为是条带的元素。虚拟磁盘以它为单位将虚拟磁盘的地址映射到成员磁盘的地址。条带又称为Stripe；是阵列的不同分区上的位置相关的strip的集合，是组织不同分区上条块的单位。软RAIDRAID的所有功能都依赖于操作系统（OS）与服务器CPU来完成，没有第三方的控制/处理（业界称其为RAID协处理器――RAIDCo-Processor）与I/O芯片硬RAID有专门的RAID控制/处理与I/O处理芯片，用来处理RAID任务，不需耗用主机CPU资源，效率高，性能好。HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialRAID0：StripedDiskArraywithoutFaultTolerance(没有容错设计的条带磁盘阵列，以条带形式将RAID阵列的数据均匀分布在各个阵列中。总容量=(磁盘数量)*(磁盘容量)RAID0（一）HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidential优点缺点可多I/O操作并行处理，极高的读写效率速度快，由于不存在校验，所以不占用cpu资源设计，使用与配置简单无冗余，一个RAID0的磁盘失败，那么数据将彻底丢失不能用于关键数据环境适用领域：视频生成和编辑图像编辑较为“拥挤”的操作其他需要大的传输带宽的操作至少需要磁盘数：2个RAID0（二）HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialRAID1：以镜像作为冗余手段，虚拟磁盘中的数据有多个拷贝，放在成员磁盘上。总容量=(磁盘数量/2)*(磁盘容量)RAID1（一）HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialRAID1（二）优点缺点理论上读效率是单个磁盘的两倍；100％的数据冗余；设计、使用简单ECC效率低下，磁盘ECC的CPU占用率是所有RAID等级中最高的，在所有成本高；软RAID方式下，很少能支持硬盘的热插拔；空间利用率只有1/2适用领域：财务统计与数据库金融系统其他需要高可用的数据存储环境至少需要磁盘数2个HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialRAID3(条带分布+专用盘校验)：以xor校验为冗余方式，使用专门的磁盘存放校验数据，虚拟磁盘上的数据块被分为更小的数据块并行传输到各个成员物理磁盘上，同时计算出xor校验数据存放到校验磁盘上。总容量=(磁盘数量-1)*(磁盘容量)RAID3（一）HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialRAID3（二）优点缺点相对较高的读取传输率高可用性，如果有一个磁盘损坏，对吞吐量影响较小高效率的ECC操作校验盘成为性能瓶颈每次读写牵动整个组，每次只能完成一次I/O适用领域：视频生成和在线编辑图像和视频编辑其他需要高吞吐量的的场合至少需要磁盘数3个HUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfidentialRAID5(条带技术+分布式校验)：以XOR检验为冗余方式，校验数据均匀分布在各个数据磁盘上，对各个数据磁盘的访问为异步操作。总容量=(磁盘数-1)*(磁盘容量)RAID5（一）A0A1A2A34PRITYC0C12PRITYC2C3B0B1B23PRITYB3D01PRITYD1D2D30PRITYE1E2E3E4ABCDEHUAWEITECHNOLOGIESCo.,Ltd.HUAWEIConfident