信息存储技术

信息存储技术1/98信息资源管理第06讲引言什么信息需要存储？采用什么技术实现信息存储？有怎样的信息存储的设备？2/98信息资源管理第06讲引言思考：假如有100T数据，买100G大小的磁盘，需要1000个！如何把1000个磁盘连接起来？如果用一般的PC，需要250台！数据存放起来了，如何管理和使用？性能如何？当设备损坏或发生事故时如何应对？3/98信息资源管理第06讲内容提要6.1.信息存储的需求6.2.信息存储技术6.3.存储容灾和备份4/98信息资源管理第06讲6.1.信息存储的需求信息存储需要解决的几个主要问题容量速度易于管理安全：容灾与备份可扩展性7/98信息资源管理第06讲6.2.信息存储的技术信息存储设备目前，常用的信息存储设备有：磁带、磁带库磁盘、磁盘阵列光盘、光盘塔、光盘库9/98信息资源管理第06讲6.2.信息存储的技术信息存储设备-磁带库10/98信息资源管理第06讲6.2.信息存储的技术信息存储设备-磁带库广义的磁带库产品包括自动加载磁带机和磁带库。自动加载磁带机和磁带库实际上是将磁带和磁带机有机结合组成的。自动加载磁带机是一个位于单机中的磁带驱动器和自动磁带更换装置，它可以从装有多盘磁带的磁带匣中拾取磁带并放入驱动器中，或执行相反的过程。它可以备份PB=106GB数量级的数据。自动加载磁带机能够支持例行备份过程，自动为每日的备份工作装载新的磁带。一个拥有工作组服务器的小公司或分理处可以使用自动加载磁带机来自动完成备份工作。11/98信息资源管理第06讲6.2.信息存储的技术信息存储设备-磁盘阵列12/98信息资源管理第06讲6.2.信息存储的技术信息存储设备-磁盘阵列磁盘阵列简称RAID（RedundantArraysofInexpensiveDisks，RAID），有“价格便宜且多余的磁盘阵列”之意。其原理是利用数组方式来作磁盘组，配合数据分散排列的设计，提升数据的安全性。磁盘阵列主要针对硬盘，磁盘阵列是由很多便宜、容量较小、稳定性较高、速度较慢磁盘，组合成一个大型的磁盘组。利用个别磁盘提供数据所产生的加成效果来提升整个磁盘系统的效能。同时，在储存数据时，利用这项技术，将数据切割成许多区段，分别存放在各个硬盘上。13/98信息资源管理第06讲6.2.信息存储的技术信息存储设备-光盘库14/98信息资源管理第06讲6.2.信息存储的技术信息存储设备-光盘库光盘库是一种带有自动换盘机构（机械手）的光盘网络共享设备。光盘库一般由放置光盘的光盘架、自动换盘机构（机械手）和驱动器三部分组成。光盘库一般配置有1~14台驱动器，可容纳45~690片光盘，每个盘仓可容纳15或50片光盘，分为智能热插拔式盘仓和普通盘仓，这样一是可方便光盘的存放和取用，二是直接构成了三级存储的近线和离线的搭配结构。光盘库通过高速SCSI端口与网络服务器相联，光盘驱动器通过自身接口与主机交换数据。用户访问光盘库时，自动换盘机构首先将驱动器中的光盘取出并放置到盘架上的指定位置，然后再从盘架中取出所需的光盘并送入驱动器中。自动换盘机构（机械手）的换盘时间通常在秒级。15/98信息资源管理第06讲6.2.信息存储的技术常用的存储设备接口IDE:IntegratedDriveElectronics，电子集成驱动器SCSI:SmallComputerSystemInterface，小型计算机系统接口FC:FiberChannel光线通道16/98信息资源管理第06讲6.2.信息存储的技术•SCSI接口技术–SCSI（SmallComputerSystemInterface），小型计算机系统接口；–并行SCSI使得I/O总线不再是系统的瓶颈，可以使系统具有更高的输入/输出性能；–SCSI提供的高质量信号支持可靠、持续的数据传输速率；–SCSI比IDE速度快，因为SCSI接口卡中自带CPU；–SCSI支持热插拔；–SCSI支持多硬盘。17/98信息资源管理第06讲6.2.信息存储的技术硬盘接口技术－光纤通道(FibreChannel):和SCSI接口一样光纤通道最初也不是为硬盘设计开发的接口技术，是专门为网络系统设计的，但随着存储系统对速度的需求，才逐渐应用到硬盘系统中。光纤通道硬盘是为提高多硬盘存储系统的速度和灵活性才开发的，它的出现大大提高了多硬盘系统的通信速度。光纤通道的主要特性有：热插拔性、高速带宽、远程连接、连接设备数量大等。光纤通道是为在像服务器这样的多硬盘系统环境而设计，能满足高端工作站、服务器、海量存储子网络、外设间通过集线器、交换机和点对点连接进行双向、串行数据通讯等系统对高数据传输率的要求。18/98信息资源管理第06讲6.2.信息存储的技术FC特点光纤通道技术是结合了通道技术和网络技术的优点。通道技术是硬件密集型技术，可以在缓冲区间快速传输大量的数据。网络技术是软件密集型技术，数据包可以在网络上被路由到许许多多设备中的某一个上；性能高：目前最高速度是10Gb/s；传输距离更远，一般可以达到10km以上，而SCSI才25m；可扩展能力强；稳定性和可靠性好。19/98信息资源管理第06讲6.2.信息存储的技术直接连接存储直接连接存储（DAS，DirectAttachedStorage）是数据存储领域产生最早、发展时间最长的传统数据存储方式。直接连接存储是将磁盘存储设备直接通过电缆连接到服务器的方式。它主要应用于单机或两台主机的集群环境中。主要优点是存储容量扩展简单，投入成本少，见效快。21/98信息资源管理第06讲图：传统的客户/服务器结构22/98网络客户机网络接口SCSI主机网络接口存储接口存储子系统虚框为服务器SCSI6.2.信息存储的技术信息资源管理第06讲6.2.信息存储的技术23/98SCSIDiskArray(SCSI磁盘阵列)UsedNotUseSCSIChannelWebServerIPNetworkWindowsDesktopPCIDEDiskArray(IDE磁盘阵列)UsedNotUseFileServerSCSIChannelFiberDiskArray(光纤磁盘阵列)FiberChannelExchangeMailServerSQLDatabaseServerUsedNotUseFiberSwitchFiberChannel信息资源管理第06讲6.2.信息存储的技术企业存储大容量的装置就是磁盘阵列(DiskArray)SAN=FiberDiskArrayDAS,SAN,NAS皆以DiskArray为核心技术。DAS,SAN,NAS的分类，并非企业考虑存储应用的关键。24/98PCI,PCI-X总线光纤HBA卡FiberDisk(SAN)SCSIDiskIDEDiskDiskArrayController(CPU,FirmwareCache)SCSI连结器SCSIChannelFiberChannelSQL,Exchange,WebServer图：大容量存储装置-DiskArray信息资源管理第06讲6.2.信息存储的技术•硬盘阵列技术－RAID(RedundantArrayofIndependentDisks)–由于磁盘的存取速度跟不上CPU的处理速度.从而使磁盘成为提高服务器I/O能力的一个瓶颈。为解决计算机CPU的高速和磁盘的低速之间日益加剧的矛盾，1987年美国加利福尼亚大学伯克利分校的帕特森教授等人提出了RAID(RedundantArrayofIndependentDisks)的概念。–其技术思想是:利用现有的小型廉价磁盘，把多个磁盘按一定的方法组成一个磁盘阵列，通过一些硬件技术和一系列的调度算法，使得整个磁盘阵列对用户来说，就像是在使用一个容量很大、而可靠性和速度非常高的大型磁盘。25/98信息资源管理第06讲6.2.信息存储的技术•硬盘阵列技术－RAID(RedundantArrayofIndependentDisks)–RAID有许多特点。首先，提高了存储容量，可以将多块硬盘组织起来，就像对一块硬盘那样进行读取操作;其次，多台磁盘驱动器可并行工作，提高了数据传输率，可以成倍地提高硬盘的数据读取速率，满足并发的数据访问请求;第三，由于有校验技术，提高了可靠性。26/98信息资源管理第06讲6.2.信息存储的技术•硬盘阵列技术－RAID(RedundantArrayofIndependentDisks)–对于RAID1和RAID5阵列而言，当有一块硬盘损坏时，利用其他盘可以重新恢复出损坏盘上原来的数据，而不影响系统的正常工作，并可以在带电状态下更换已损坏的硬盘(即热插拔功能)，阵列控制器会自动把重组数据写入新盘，或写入热备份盘而将新盘用做新的热备份盘。另外，磁盘阵列通常配有冗余设备，如电源和风扇，以保证磁盘阵列的散热和系统的可靠性。目前，常用的RAID类型可分为RAID0、RAID1、RAID3、RAID5等。27/98信息资源管理第06讲6.2.信息存储的技术•硬盘阵列技术－RAID(RedundantArrayofIndependentDisks)–RAID技术是一种工业标准，各厂商对RAID级别的定义也不尽相同。目前对RAID级别的定义可以获得业界广泛认同的有4种，RAID0、RAID1和RAID5。28/98信息资源管理第06讲6.2.信息存储的技术•硬盘阵列技术－RAID(RedundantArrayofIndependentDisks)–RIAD0，数据分割–RIAD1，磁盘镜像–RIAD5，硬盘分割29/98信息资源管理第06讲6.2.信息存储的技术•硬盘阵列技术－RAID(RedundantArrayofIndependentDisks)–RAID0是无数据冗余的存储空间条带化，具有成本低、读写性能极高、存储空间利用率高等特点；–适用于Video/Audio信号存储、临时文件的转储等对速度要求极其严格的特殊应用；–但由于没有数据冗余，其安全性大大降低，构成阵列的任何一块硬盘的损坏都将带来灾难性的数据损失。30/98信息资源管理第06讲6.2.信息存储的技术•硬盘阵列技术－RAID(RedundantArrayofIndependentDisks)–RAID1是两块硬盘数据完全镜像，安全性好，技术简单，管理方便，读写性能均好。–但它无法扩展（单块硬盘容量），数据空间浪费大，严格意义上说，不应称之为“阵列”。31/98信息资源管理第06讲6.2.信息存储的技术•硬盘阵列技术－RAID(RedundantArrayofIndependentDisks)–RIAD5，硬盘分割，RAID5是目前应用最广泛的RAID技术。–各块独立硬盘进行条带化分割，相同的条带区进行奇偶校验（异或运算），校验数据平均分布在每块硬盘上。以n块硬盘构建的RAID5阵列可以有n－1块硬盘的容量，存储空间利用率非常高。–任何一块硬盘上的数据丢失，均可以通过校验数据推算出来。–RAID5具有数据安全、读写速度快，空间利用率高等优点，应用非常广泛，但不足之处是如果1块硬盘出现故障以后，整个系统的性能将大大降低。32/98信息资源管理第06讲6.2.信息存储的技术直接连接存储模式存在诸多弊端：存储设备只能与一台服务器直接连接，只由这台服务器使用。用户要备份数据和存储数据，都要占用服务器CPU的时间，从而降低了服务器的管理效能。随着服务器的增多，数据管理会越来越复杂，工作量不断增加。如果增加存储设备，扩展存储容量，需要对服务器进行重新配置，这样做容易中断业务连续性，造成数据丢失。33/98信息资源管理第06讲图：直接存储（DAS，DIRECTLYATTACHEDSTORAGE）34/98ApplicationServer1diskdiskApplicationServer2diskdiskApplicationServer3diskdiskDataIslan