智能网络存储方案

智能网络存储方案一、概述目前，数字视音频网络和数据网络的大量应用成为电视行业发展的必然趋势，这就要求提供更大、更快、更有力的网络数据存储和共享途径。网络存储技术无疑为我们提供了一个很好的选择。二、网络存储技术的分类目前的网络存储技术大致分为三类：1、直接依附存储系统（DirectAttachedStorage,DAS）DAS又称为以服务器为中心的存储体系，如图一所示。其特征为存储设备为通用服务器的一部分，该服务器同时提供应用程序的运行，即数据访问与操作系统、文件系统和服务程序紧密相关。当用户数量增加或服务器正在提供服务时，其响应速度会变慢。在网络带宽足够的情况下，服务器本身成为数据输入输出的瓶颈。现在已渐渐不能满足用户的需求，不再为大家所采用。2、网络依附存储系统（NetworkAttachedStorage,NAS）NAS的结构是以网络为中心，面向文件服务的。在这种存储系统中，应用和数据存储部分不在同一服务器上，即有专用的应用服务器和专用的数据服务器。其中专用数据服务器不再承担应用服务，称之为瘦服务器（ThinServer）。数据服务器通过局域网的接口与应用服务器连接，应用服务器将数据服务器视做网络文件系统，通过标准LAN进行访问。由于采用局域网上通用数据传输协议，如NFS、CIFS等，所以NAS能够在异构的服务器之间共享数据，如WindowsNT和UNIX混合系统。NAS系统的关键是文件服务器，一个经过优化的专用文件服务和存储服务的服务器是文件系统所在地和NAS设备的控制中心，该服务器一般可以支持多个I/O节点和网络接口，每个I/O节点都有自己的存储设备。3、存储区域网络（StorageAreaNetwork,SAN）SAN是一种以光纤通道（FiberChannel,FC）实现服务器和存储设备之间通讯的网络结构，如图三所示。SAN的核心是FC，其中的服务器和存储系统各自独立，地位平等，通过高带宽（传输速率为800Mb/s,双全工时可达1.6Gb/s）FC集线器或FC交换机相连，可避免大流量数据传输时发生阻塞和冲突。各应用工作站通过局域网访问服务器，在各存储设备之间交换数据时可以不通过服务器，这样就大大减轻了服务器承受的压力。三、NAS与SAN的比较NAS、SAN与传统网络存储技术相比而言，无论是从网络传输带宽、数据共享性还是从存储容量的可扩充性、数据的一体化和安全性等个方面来说，其优越性是不言而喻的。所以，现在众多的用户在对其存储方案进行选择时，实际上也就成为对NAS和SAN的选择了。NAS和SAN有许多共同的特点。它们都提供集中化的数据存储和整合优化，都能有效的存取文件，都允许在众多的主机间共享并支持多种操作系统，都允许从应用服务器上分离存储。而且，它们都提供数据的高可用性，都能通过冗余部件和RAID保证数据的完整性。NAS和SAN也有着一些不同点。首先，实施和维护的难易程度不同。上面曾提到，NAS的存储设备与众多访问客户的连接是通过标准的LAN进行的，也就是说，直接将NAS存储设备接入LAN中就可以使用了，管理者所要做的只是来定义网络寸取权限或为每个用户定义磁盘限额。而且由于NAS采用了热插拔和即插即用技术，所以在新设备接入时无需关闭数莘蚕怼６鳶AN的存储设备与客户之间的联系是通过专用FC集线器和交换机来进行的，如果客户端增加，就要对交换机进行级连，这就大大增大了安装与设置难度。其次，二者的设备管理难易成度不同。由于NAS中每一个I/O节点都有自己的存储设备，而这些设备又没有一个统一的管理的界面，所以管理人员就必须逐一管理每个NAS设备，从而使管理成本随网络上的NAS设备的增多而线性增加。而SAN对整个网络中的存储设备的管理，是采用SAN专用管理软件来进行集中式管理的，用户可以通过简单的图形界面来管理不同平台和介质上的数据，也就是说，在SAN中，其整个存储网络成为了一个集中化的存储池，这样，管理人员管理起来就非常简单了。再者，NAS和SAN是管理对象也不相同。SAN管理的是磁盘空间，而NAS管理的是文件，也就是说，SAN是个磁盘工厂，而NAS只是一个文件服务器。最后，也是最重要的一点，那就是二者在性能上有所不同。NAS是基于传统以太网络的存取设备，虽然减轻了服务器所承担的压力，但势必严重增加网络的负荷。而且无论存储磁盘的速度有多快，存取速度只可能与网络带宽所允许的速度一样快。即NAS达到高性能的前提条件是网络带宽足够，否则其性能将急剧下降。而如果为了解决带宽问题而增设宽带网段，就势必丧失NAS价格较低、安装设置容易的优势。与NAS不同，SAN构建于基于光纤的专用数据网络，可以提供极高的带宽（新的FC标准可使带宽达到4GB），不必担心由于带宽不足而引起的性能下降。可以说，NAS和SAN各有其长短之处，在实际应用中也各有不同之处。对于经济实力不足，有传统以太网络，且急需扩充存储空间的用户，NAS无疑是一种便宜、快速的方案。而对于拥有强大经济后盾，对网络性能要求较高及未来发展势头强劲的用户，则应该选择SAN。毕业论文范文网,提供免费的毕业论文,欢迎访问。四、SAN的现状和发展1、现状由于自身所具有的高速、集中化存储管理及几近无限的扩充能力这些特点，特别适合对海量数据的视音频数据进行存储、传输和实时处理，所以采用FC技术的SAN目前在很多电视台得到了推广，甚至已成电视台运做的核心。在视频处理领域里，SAN就像数字视频网络中的大本营，不但承担着视频数据的存贮、迁移、交换、共享，而且掌管着网络设备的登记、删除、查询、维护。可以这么理解，SAN是电视台视频网络的主干，在SAN网上可以挂接诸如新闻生产系统、非线性编辑系统、广告非线性插播系统、数字化节目库系统等。SAN在日益广泛的应用中也暴露了一些缺点和不足。SAN网络仍然采用传统网络结构进行存储操作，网络结构主要由交换机与集线器构成，将这些传统规范的硬件应用于新的存储结构中，并应用传统的网络管理技术进行存储管理，最终导致了系统的匹配问题。SAN系统出现之初，的确为我们解决了企业数据存储与共享的问题。当存储数据达到TB级，高带宽网络站点（视频工作站）很多时就会出现很多问题，导致系统性能严重下降。而第二代SAN---SDD（SANDataDirector）的出现，弥补了这些不足。2、发展新一代SAN，其结构的核心是SDD，它不是一个更大的交换机，但它完成的功能更多。它将交换、缓存、RAID、I/O以及数据和文件的管理集于一身，并可以完成数据和网络的管理，为数据交换提供高带宽、高容错的集中存储访问。SDD内部有两个完全相同的组件，称之为HSTD（HSTD1、HSTD2），每个HSTD有四个100MB/S带宽流量的数据交换端口，称之为HOST。这样，每个HSTD就有400MB/S的带宽，一个SDD拥有两个HSTD的800MB/S带宽。HOST端口可直接与服务器、工作站相连，也可与交换机相连。每个HSTD还有一个60芯的数据总线用于和存储硬盘阵列相连完成数据交换。其结构示意图如图四所示。SDD利用HSTD组件省去了复杂的交换机间连接，并将RAID控制器集成，前面的端口接服务器，也可以连接交换机，后面的端口连接硬盘柜。这样一来，网络结构变得非常清晰、简洁，可扩展性强，并且SDD对传输通道、硬盘通道、硬盘多重冗余，不仅提高了带宽，又增加了安全保障，系统几乎永不死机。3、对比（1）带宽：在传统SAN方案中，应用FC而使带宽达到了100M，且其采用的RAID控制器是专门为点对点通信而设计的,在较少站点同时访问一个数据时有很好的性能表现，但当有更多站点同时访问一个数据时，带宽将严重不足，使系统性能急剧下降。如果采用多硬盘塔来分担网络带宽的方案，势必需要使用switch进行级连，这样不但使网络的连接变得极为复杂（如图五所示），而且switch之间的100M通道带宽就成为了网络的瓶颈。在SDD中，带宽可达800M，并且采用新型RAID控制器，将switch的级连改为并联，消除了大规模网络传输中的瓶颈。本文由毕业论文范文编辑整理,版权所有,转载请注明出处。（2）扩展性：传统SAN延用了C/S的结构，其可升级性与智能化都很差,若想进行系统升级则必须增加交换机、RAID控制器以及不同的控制软件，而且只能使用交换机级连扩展站点。这种情况在网络规模较小（网络中高带宽访问站点数在十个以下）时，影响不大。但当网络的高带宽站点超过10个时，传统SAN的系统性能将越来越低，以至于不能构架大型网络。这是因为传统SAN的FC交换机速度高，但会在SAN中引入延时；为了增加接口而级连交换机也会产生延时，当系统需要多台交换机时延时将十分明显，并将使数据处理性能下降。在SDD网络中，FC交换机都与SDD控制器相连，处于并行工作状态且互不影响。当站点增加时，不用交换机级连，只需将新的FC交换机接入SDD即可，不用改动以前的连接。带宽得到线性增长，能构架大型网络。（3）稳定性、安全性：从图四中可以看出大型网络在站点增多后传统SAN需要FC交换机二级连接，增加了连接点、RAID控制器、电缆等。故障发生点增多，同时故障源难以确定，维护难度大。而SDD网络结构简单，连接点少，出错的机率小，易判断出错点，如图五所示。比较图五与图四可以看出，在相同网络规模下，SDD网络结构连接简单，故障点少。在存储硬盘与SDD，FC交换机与SDD之间都采用双链路备份，容错能力强。（4）RAID结构：在一个传统RAID环路中对磁盘的访问是顺序的，降低了RAID卷的读写能力。一个环路硬盘数量有限，硬盘卷的容量太小，当总存储容量达到TB级以上时，系统会出现十几个盘符，降低了系统的稳定性能，使管理难度加大。如果在NT下做带区集，首先降低系统安全性，消耗系统资源，另外带宽也会下降。同时传统RAIDFC硬盘塔当某一硬盘发生故障时，不会影响整个RAID组。但可怕的是如果盘塔发生故障，将导致其上整个RAID组数据丢失。而SDD的RAID则是在盘塔之间做RAID。这样当一个盘塔发生故障时，整个RAID也不会出现问题，大大提高了存储系统的容错能力。同时，SDD是在10个磁盘通道上做RAID，读写一个RAID时，对磁盘的访问是同时并发的；充分利用了系统的多通道、高带宽的性能。另外SDD的RAID结构采用两级RAID，即在RAID3的基础上再将多个RAID组以RAID0方式捆绑。这样做一方面单个盘符容量大大增加可达几TB，使存储数据得到充分共享；另一方面，带宽集中利用，单个分区的带宽可达360Mb/s以上。（5）升级能力、性价比：由于随着存储容量、站点的增加，传统SAN需要增加大量设备如：FC交换机、硬盘塔、RAID控制器等，导致成本急剧上升。扩展系统结构复杂，又使维护成本上升。在SDD网络扩充时，只需增加少量交换机和硬盘。整个网络结构不变，维护成本不增加，有效保护了用户的投资。另外SDD可以重新使用传统结构中的硬件以节省投资。除了以上性能提高，SDD还具有传统SAN不具备的优势。(1)ZONING（分区）能力可以在SDD控制器中做ZONING，这样可以指定工作站可以看到哪些LUN（逻辑单元设备号），提高系统的安全性，并使跨平台连接的安全性得到保障。提供了SDD用户注册的审查，对非法注册提出警告，全部的安全工作都将被记录。(2)CACHE的集中使用毕业论文范文网,提供免费的毕业论文,欢迎访问。SDD系统CACHE非常大，可达5GB，并且这些缓存集中使用，可当应急硬盘使用（这对于视音频处理很重要），极大的提高利用率，提升系统性能。而传统SAN系统总的CACHE虽然也非常大，但却是分散使用,每一块对于视频采集和回放都太小，没有利用价值。五、总结传统SAN适用于小规模的存储网络如小型节目制作网、平面工作室、小型网站等，无法满足大型存储网络的传输带宽和存储的需要。SDD是专门SAN设计，它克服了原有SAN结构的缺点，为SAN提供一个广泛的、高性能的解决方案。其主要特性为：数据处理与网络的智能化；大量的I/O处理能力；低延时传输；高度的可靠性与使用性；可继续使用原有的网络设备。利用