基于数据中心的海量存储系统设计方案

1火龙果整理uml.org.cn基于数据中心的海量存储系统设计方案(一)数据中心的设计1、IPSAN存储介绍(1)IPSAN的特点为存储区域网定义(SANs)。IPSAN是SAN的一种，通过IP实现的SAN，即IPSAN。支持数据库应用所需的基于块的存储。虽然是通过IP传输，但iSCSI却是基于块的存储，这有别于NAS的基于文件的存储。基于TCP/IP，iSCSI是被封装在IP包中进行传输的，所以它具有TCP/IP的所有优点，诸如可靠传输，可路由等。建立和管理基于IP的存储设备，主机和客户端之间的连接是建立在广泛使用的，为大家所熟悉的开放标准上的。提供高级的IP路由，管理和安全工具。现有的绝大部分网络管理工具都可以用来管理IPSAN。(2)IPSAN的优势低成本由于通过以太网进行传输，企业可以利用现有的以太网设施来部署iSCSI存储网络，而不需要更改企业的网络体系，所以他的部署成本比较低。由于对以太网的熟悉程度都比较高，所以培训和维护管理的费用也大大降低。协议本身没有距离限制由于使用TCP/IP进行传输，他不但可以在局域网中进行部署，也可以跨过路由设备在广域网中进行部署，大大扩展了iSCSI存储网络的部署范围。灵活的拓扑结构：iSCSI不但可以在局域网内部署，还可以在广域网内部署，拓扑结构非常灵活。2火龙果整理uml.org.cn易于使用即使是多个厂家的设备：iSCSI结构简单，容易理解，协议通用，不同厂家的产品可以有机的结合起来共同使用，极大地保护了企业的投资。易于扩展由于iSCSI存储系统可以直接在现有的网络系统中进行组建，并不需要改变网络体系，加上运用交换机来连接存储设备，对于需要增加存储空间的企业用户来说，只需要增加存储设备就可完全满足，因此，iSCSI存储系统的可扩展性高。（3）IPSAN服务器公司名称:深圳市盛天海科技有限公司品牌:盛天海技术参数：型号IP-SAN9HDIP-SAN16HDIP-SAN24HD音频视频分辨率PAL:352*288(CIF)，704*288(Half-D1)，512*384(D·CIF)，704*576(D1),1280*720(130W),1920*1080(200W)NTSC:352*240(CIF)，704*240(Half-D1)，512*340(D·CIF)，704*480(D1)帧率1－25F/S(PAL)、1－30F/S(NTSC)设备兼容视频设备兼容兼容国内外H264和MPEG4等标准算法设备（如：海康、大华、汉邦、恒亿、黄河、盛天海、朗驰、亿维、波粒智能、AIP、台湾VIVOTEKsystem、台湾奇偶、德国MOBOTIX等）系统接口记录介质标配1个1000GSATA硬盘，最大增加到9个SATA可插拔硬盘。标配1个1000GSATA硬盘，最大增加到16个热插拔硬盘。标配1个1000GSATA硬盘，最大增加到24个热插拔硬盘。网络接口：1个RJ45，10M/100M/1000M自适应以太网口网络连接局域网、电话线、DDN、ISDN、ADSL、E1、VPN、光纤传输系统容量音视频输入100路CIF视频网络信号，64路D1，24路百万像素(720P)音视频输出单机可以做到16路，可多台IP-SAN服务器级联存储视频系统操作系统Windows2000/WindowsXP/Windows2003/WindowsVista/Windows7机箱尺寸W428mm*H88.9mm*D660mmW43.7cmH13.2cmD64.8cmW43.7cmH17.8cmD66cm电源功率600W热插拔800W冗余热插拔900W冗余重量《20KG《42.7KG《44KG基本功能：录像计划任务制定、执行3火龙果整理uml.org.cn多个存储服务器的容错管理视频资料的存储、检索、备份管理远程录像数据的同步&异步检索备份管理2、IPSAN的解决方案（1）视频监控系统应用o方案拓扑图o方案配置清单o方案说明4火龙果整理uml.org.cn每个派出所的300路摄像头连接在视频服务器、硬盘录像机或其他视频采集设备上，视频服务器再与存储设备通过千兆以太网双绞线相连。SI-1600内部采用SATAII磁盘，SATAII硬盘是目前性价比非常高的也是应用最为广泛的磁盘类型。根据存储容量，本方案中每个派出所采用4台磁盘阵列，每台阵列上安装15颗1TB的SATA-II硬盘，共计60颗。用每台SI-1600磁盘阵列的14块硬盘创建为RAID5，剩余一块硬盘作为热备援盘，以确保存储数据的安全性，保证数据在常规情况下不会丢失。每台SI-1600磁盘阵列装配15块磁盘，每台阵列的容量为（15-2）×1TB=13TB（注：15-2是创建RAID5和热备盘所需的2块），4台磁盘阵列的总容量为52TB。考虑磁盘的实际容量与理论容量不符，且还需为整个监控系统预留一定的冗余度，则52TB的容量完全可以满足用户需求。o方案特点管理性HstoreSI-1600磁盘阵列可以通过阵列前面的液晶面板和超级终端对阵列进行配置、管理、维护和监控，可在液晶面板中查看阵列当前的状态和运行情况，及配置信息，并且在阵列出现故障、读写错误或其他异常时，液晶面板上会显示错误信息，并有蜂鸣报警，以及时通知管理员。毫无疑问，SI-1600的前液晶面板的设计为系统管理员带来了极大的方便，并能够让管理员迅速地掌握阵列的操作。稳定性由于每台SI-1600磁盘阵列都有各自的控制器，大大增加了单台磁盘阵列的稳定性。HstoreSI-1600整机和所有配件出厂前都进行了严格的稳定性测试，保证磁盘阵列在出现一般性故障时不会造成数据读写中断，或数据丢失等严重后果。SI-1600可以完全满足视频监控系统长时间工作对存储设备稳定性的要求。扩展性由于监控数据的增长很快，且带有一定的不确定性，所以对于视频监控系统来说，扩展性也是比较重要的方面。由于IPSAN有着SAN的架构，扩展时只要根据所需容量添加SI-1600设备即可，不受目前存储环境的影响。o关于方案投资5火龙果整理uml.org.cn目前在较大型的安防监控行业，对IPSAN已经有大量的应用，正是由于其优良的架构、方便地管理、简便地扩展、比NAS更优异地性能、比FC更低廉的价格赢得了业内的信任。HstoreSI-1600的实施方便、管理简单，采用目前最具性价比的SATAII大容量磁盘，同样容量的情况下，可把使用的阵列数量减少，降低了投资。方便的扩展性，可以根据对容量的需求随时扩容，不需要改变目前的环境架构。（2）中小电视台8-15台非编工作站共享存储方案拓扑图o方案说明在此解决方案中，我们选用了恒尔特公司的HrtStorSI7000系列ISCSI存储产品。HrtStorSI7000通过多条千兆以太网线连接大千兆以太网交换机上，在各台服务器和需要高码流的工作站上上安装千兆以太网卡或ISCSI卡，连接到交换机上，使存储设备和主机在物理上连通。如果服务器和工作站安装的是普通千兆网卡，需要在其上安装INITIATOR软件，用来封装SCSI协议。HrtStorSI7000采用网格化的体系结构，能够非常方便的进行扩展，可以用它组成各种规模的新闻网，制作网，播出网，以及媒体资产管理网络。每个阵列提供理论3Gb/s，实际接近200MB/S的带宽，当多个阵列组合成一个整体时，各个阵列的带宽能够线性叠加，提供足以和FC存储系统相当甚至更高的带宽。由于采用完全的冗余设计，系统能够提供极高的安全性，系统地各个部件都可以热交换，使得在系统在不停机的状6火龙果整理uml.org.cn态下，能够进行升级和故障部件的更换。其强大的软件功能，包括快照，克隆，远程镜像等，为数据的安全性提供了额外的保障措施，这些功能都可以在没有主机参与的情况下由存储系统自动完成。软件的虚拟化功能能够把组成系统的各个阵列无缝的融合在一起，卷可以分散在各阵列之间，也可以绑定在某个阵列之上，卷可以动态的调整，而不会影响主机对他的访问。o方案特点：大大节约成本：在整个存储系统的配置上，采用ISCSI产品只需要千兆以太网交换机和千兆网卡，同时还可以利用原有的布线系统，省去价格昂贵的FC交换机和HBA卡，省去了同样价格不菲的光纤布线系统。我们知道，千兆以太网交换机和千兆以太网卡的价格只有FC交换机和HBA卡的五分之一到十分之一甚至更低。HrtStorSI7000系统采用的是SATA-I或SATA-II硬盘，相比于FC硬盘和SCSI硬盘，他不但能够提供更大的容量，价格也要低得多。整个存储系统的总成本相对于相同。性能优良HrtStorSI7000每个阵列拥有2个千兆以太网口，提供理论3Gb/S的带宽，实测带宽近200MB/S的读写性能。多个阵列能够线性叠加，提供更高容量的同时，提供更大的带宽。丰富的软件功能提供更多的数据保护和更多层次的数据应用。方便易用人性化的图形界面，即使对产品不熟悉的人，也很容易使用。7火龙果整理uml.org.cn（3）北京清源并行计算机有限公司o方案拓扑图o解决方案说明存储产品：在以上所示的企业整体存储结构图中，是采用了企业级存储产品EVA8000的整体解决方案规划，由一台企业级存储系统（推荐采用HP的EVA8000）来作为主要在线的数据库和应用业务服务磁盘存储系统，通过综合用户的不同应用要求和基于SAN架构存储技术的有机结合，真正实现了数据的集中管理，业务分布处理；同时HPEVA8000磁盘存储系统都是部件完全冗余，并支持在线热插拔，可支撑应用系统8火龙果整理uml.org.cn7*24的不停机运行；EVA8000是最新一代StorageWorks磁盘阵列家族。它采用VersaStor虚拟化技术，为高端企业市场提供了一款超高性能、超高容量、超高可用性的“虚拟”RAID(Vraid)存储解决方案。EVA8000不仅具有200，000IOPS的超高性能,具有1500MB/最大连续读取和600MB/s最大连续写入的性能，而且最大可扩展容量至70TB（300GBFC磁盘），而采用500GBFATA磁盘容量可达120TB，是名副其实的存储产品中的贵族。o方案优势分级存储：不同安全级别的数据保存在不同类型的磁盘中，以进一步降低数据存储的成本。EVA8000支持不同类型的磁盘混合应用，可按需要配置相应的磁盘容量。如对于级别一的应用系统可采用FCSCSI盘存储，对于级别二可采用FATA盘进行存储。存储网络：采用QLogicSANbox5600光纤通道堆叠式交换机，在需要使用存储的服务器设备上配置光纤通道卡（HBA），以4Gb的传输带宽提供对磁盘阵列数据的读写。QLogicSANbox5600可在不占用光纤端口的情况下灵活扩展到120个端口。数据备份：在备份方式上，除了采用原有的光纤磁带库产品和存储自动备份管理软件来实现数据自动备份外，还可以通过利用EVA8000的BusinessCopy软件，实现在线的数据复制，充分利用现有存储资源进行相关的测试、在线备份等工作，并且不影响关键业务的性能；可扩展性：通过已有的FCSwitch还可以在该SAN架构基础上扩展主机和存储设备；可将老的光纤设备进行连接。数据迁移：可通过网络、SAN、专用工具等方式进行灵活迁移。针对不同系统和数据类型应用采用不同策略，因而需要在进行详细调研后另行制定相应方案。9火龙果整理uml.org.cn(二)海量存储系统的设计1.海量存储系统架构方案华侨大学数字图书馆拓扑图在网络时代，信息资源成几何级数增长，导致通过网络进行传输的信息量不断膨胀，大量的信息需要进行数字化存储。而数字图书馆是建立在大量可读取和可利用的数字化信息资源之上的，它所要存储和处理的数据量也呈几何级的速度增长，涉及的数据类型不仅包括文本、图像，还有语音、视频等多媒体信息。如何把这些海量数据系统组织起来进行存储和管理是数字图书馆发展的基础和保证，所以架构合理的数据存储平台，实现数据的集中存储、分析和共享是高校数字图书馆面临的首要问题。10火龙果整理uml.org.cn（1