企业网络存储项目技术方案

企业网络存储项目技术方案需求分析和设计目标2.1系统现状企业核心业务的开展依赖于大量的数据处理和信息交流，对数据的实时性和准确性要求很高。更要求企业在对外积极拓展业务领域的同时，加强内部的监察和自控工作。企业负责多地区的业务工作，涉及面广，社会影响力大，经济总量大，因此，数据安全及其重要。公司的基本环境：两台IBMX2558685-41X服务器做双机，操作系统是Win2000，数据库是Sybase；IBMX3458670-61X（Win2000）服务器用于存储备份系统的备份服务器；另外3台IBMX3458670-61X服务器是公司的其他数据业务服务器；系统运行的网络环境是千兆网；2.2系统总体架构要求根据设计，按照设备集中、集约管理、满足应用、方便扩展、安全稳定的要求，今后数据中心形式的信息化存储系统建设的发展方向是按照先进计算机应用模式建立多层体系结构（N-Tier）的数据中心。数据中心的逻辑结多层体系结构核心应用层组件包括客户层、应用/WEB服务器层和数据库服务器层和存储备份层。客户层：客户层是消耗应用数据的层。通常指Web浏览器。但多层结构（N-Tier）图１１－１数据中心逻辑图也能支持诸如手机、掌上电脑等其它非浏览器。应用/WEB服务器层：应用/WEB服务器层由应用服务器器和Web服务器组成。应用服务器层提供应用的业务逻辑处理。应用逻辑服务器检索并处理来自数据库、生产业务系统等应用的数据，然后向Web服务器返回格式化的结果。通过采用中间件技术(Websphere、WebLogic、MQ)可实现应用逻辑服务器的高可用性及可伸缩性。数据库服务器层：数据库服务器层是一个中心存储库，是业务应用系统中所有数据资源的管理中心。提供包括关系型数据库系统（如Oracle，Sybase，DB2等）服务和数据仓库（如多维数据库等）服务。存储与备份层：存储与备份层由磁盘存储阵列和备份软件和备份磁带库组成，提供数据存储和数据备份、数据恢复服务功能。2.3系统建设目标根据设计规划，按照设备集中、集约管理、满足应用、方便扩展、安全稳定的建设要求，遵循高起点、高标准、高质量的建设原则，立足当前，着眼发展;在数据中心形式的信息化存储系统构建统一的集中运行平台，建立开放式多层架构体系，优化整合现有设备资源，为数据中心形式的信息数据库建设数据库和应用系统建设提供统一的运行环境，并实施系统资源的统一管理和维护;提高硬件设备的集约化管理水平和可扩展能力，增强应用系统和数据的运行效率和管理水平，降低各类应用系统建设成本，满足数据中心形式的信息数据库建设数据库和应用系统的建设需要;为数据中心形式的信息数据库建设开展应用系统建设、信息数据集中整合、方便信息分析研判以及信息化建设的健康持续发展奠定良好的硬件设施基础。2.4系统建设任务构建专用存储系统，集中存储数据在多层体系架构中，采用存储区域网络技术，构建专用大容量存储系统，通过区域划分满足各类信息数据的集中存储，保证存储系统信息存储的灵活性和可扩展性。构建统一的数据库集中运行平台，提高数据处理能力按照“运行可靠、性能优良、满足应用”的要求，在多层体系架构中，建设小型机集群系统，采用并行运行和互为备份的集群技术，保证小型机高效和不间断运行。同时，通过小型机分区技术，在小型机上构建不同应用数据库（统一采用Oracle数据库）的运行区域，满足不同应用数据库系统的运行需要，使各类应用数据库既集中又相对独立地运行，以降低不同数据库之间相互影响，提高数据库处理能力。建立多种系统应用平台，提高集中运行平台的适应性按照各类应用系统所需的不同系统运行环境，在多层体系架构中，建立与之相适应的多种系统运行平台，提供Unix、Windows或Linux操作系统平台上应用服务和Web浏览等应用。通过共享统一的存储系统，建立如SQLServer等其他主流数据库运行平台，提供数据库服务。为有关部门的不同应用系统提供相应的运行环境。整合优化现有计算机设备资源，提高集中管理和应用水平根据系统建设的整体框架要求，按照数据集中整合和应用的需要，对用户现有计算机设备资源进行调整，纳入统一集中运行管理框架的多层体系架构中。同时，按照设备集中管理的要求，在数据中心形式的信息数据库建设集中计算机房建成后，将用户各类服务器及相关设备集中起来，根据不同应用的要求进行整合优化，实行统一的运行和管理。扩展数据备份系统，提高系统可靠性数据中心形式的信息数据库建设数据库、其它应用数据库以及衍生的整合分析数据资源是生产机关极其宝贵的重要资源，必须做到安全上的万无一失，并且各类应用系统要求7?4小时?65天不间断运行，要求基于多层体系架构的集中运行平台有多层面的系统可靠性保障。集中运行平台中，所有层面要建立相应的容错机制，确保设备发生故障或升级维护时系统服务不中断；设备自身必须具备容错能力，尽可能在设备一级就能屏蔽大多数故障。此外，构建存储系统的“快照”复制和磁带备份系统，包含专业的数据备份系统、备份管理策略与手段，通过在现有备份系统基础上进行扩展，实现信息数据的快速备份和统一的常规备份以及高效的数据恢复，使集中运行平台具备高效、全面备份数据的能力，保证信息数据的安全可靠。建立集中运行管理机制，实现设备和系统资源的统一管理按照计算机应用系统和数据集中运行的要求，建立设备和系统的集中运行管理机制，实现对集中设备和系统的性能监控、配置优化和维护服务的统一运行管理，确保设备和系统的高效、可靠和安全地运行，提高对设备和系统的运行管理水平。2.5系统设计原则数据中心形式的信息化存储系统集中运行平台多层架构体系建设必须既满足当前的应用需求，又面向未来业务和技术的发展要求。集中运行平台的建设遵循以下原则：2.5.1实用性和先进性采用成熟、稳定、完善的产品和技术，满足当前应用需求。尽可能采用先进的计算机及网络技术以适应更高的数据处理要求，使整个集中运行平台在一定时期内保持技术上的先进性，并具有良好的扩展潜力，以适应未来应用的发展和技术升级的需要。2.5.2高性能和高负载能力数据中心形式的信息化存储系统集中运行平台必须能够承载较大的系统和应用运行负载，提供高性能的数据处理和应用响应能力，确保各类应用系统和数据库的高效运行。2.5.3安全性和可靠性为保证业务应用不间断运行，数据中心形式的信息化存储系统集中运行平台必须具有极高的安全性和可靠性。对系统结构、网络系统、服务器系统、存储系统、备份系统等方面须进行高安全性和可靠性设计。系统达到C2级以上标准安全级别，具有一定的防病毒、防入侵能力。在采用硬件备份、冗余、负载均衡等可靠性技术的基础上，采用相关的软件技术提供较强的管理机制和控制手段，以提高整个系统的安全可靠性。2.5.4灵活性与可扩展性数据中心形式的信息化存储系统集中运行平台要能够根据生产信息化不断发展的需要，方便地扩展系统容量和处理能力，具备支持多种应用的能力。同时可以根据应用发展的需要进行灵活、快速的调整，实现信息应用的快速部署。2.5.5开放性和标准化数据中心形式的信息化存储系统集中运行平台要具备较好的开放性，相关系统和设备应是业界主流产品，遵循业界相关标准，保证数据中心形式的信息数据库建设选用的主流系统和设备能够随时无障碍地接入集中运行平台，实现系统和数据的集中运行和统一维护管理。2.5.6经济性与投资保护应以较高的性能价格比构建数据中心形式的信息数据库建设集中运行平台，使资金的产出投入比达到最大值。以较低的成本、较少的人员投入来维护系统运转，达到高效能与高效益的要求。尽可能保护已有系统投资，充分利用现有设备资源。2.5.7集中运行和逐步过度数据库和应用系统建设采用集中运行和逐步过度相结合的原则。新的应用要直接部署在新建的集中运行平台上运行，现有应用及硬件资源将根据需要和可能分期分批逐步融入集中运行平台，进行统一的管理和资源配置。系统方案设计3.1系统总体结构图根据数据中心形式的信息数据库建设需求分析，系统总体结构描述如下：本项目的存储网络架构图，通过SAN能够将多种数据应用全面整合起来，其中后端的阵列是整个系统的核心，所有的业务数据都存在该阵列中，因此阵列本身需要完全冗余架构和极高的吞吐性能；SAN网络采用dualFabric设计，采用两台交换机构成冗余的存储网络；每台主机（关键业务）可以采用两块（甚至更多）HBA跨接到两台SAN交换机上，做的主机到存储接口冗余；主机层采用HA配置，因此整个系统是高效而全冗余的。同时也能够平滑过渡到下阶段的容灾系统。备份系统也跨接到SAN网络上，这样所有的备份工作可以大大减轻对于生产网络的影响，主机直接通过SAN将数据读出并写到带库，完全采用FC/SCSI协议。在上述架构中，后端的磁盘阵列采用高性能磁盘阵列，作为综合存储磁盘阵列。该磁盘阵列代表当时行业的最佳性能、100%数据可用性，以及功能丰富的管理软件。3.2数据库服务器设计3.2.1数据库系统结构数据库服务平台主要采用动态分区、多机集群、并行数据库等技术，实现多台数据库主机同时并行访问数据库，应用可以根据需求均衡到不同主机资源上同时工作，多机互为备份。这种机制依靠系统提供的系统硬件、操作系统集群软件、与数据库提供的并行技术来满足要求。数据库支持数据分区技术，通过数据库分区技术提高查询效率。同时，与数据库服务平台相配合，采用专用数据采集处理服务器，负责数据采集工作，各数据库的数据采取分别汇集，单点入库的数据更新策略。数据库服务器系统图如下：数据库服务器选用高性能UNIX服务器，每台高性能UNIX服务器划分成2个分区，配置1.7GHzCPU、16GB内存、2块千兆光纤网卡、2块15000转73G硬盘、2块2GB光纤通道卡。对应分区通过软件实现群集。根据设计要求“当前配置tpmC=(TPMC基准值*实际CPU数目*实际CPU主频)/(基准CPU数目*基准CPU主频)”(768,839*16*1.7)/(32*1.7)=384,420tpmC3.3存储系统设计3.3.1存储系统结构整体架构采用SAN-存储局域网的架构搭建，分为主机、交换机和存储设备三个层面：A.主机层面前端服务器每台通过两块光纤卡（以下简称HBA卡）跨接到两台光纤交换机上，构成冗余链路B.光纤交换机利用两台16口光纤交换机作为SAN的骨干设备，连接主机和存储设备；C.存储设备主存储设备：核心磁盘阵列存储所有系统的数据。该磁盘阵列通过1对（2块）接口卡分别跨接到台光纤交换机上，构成冗余链路近线存储设备：近线备份目标磁盘阵列使用采用STAT磁盘的廉价磁盘阵列，离线备份目标带库采用设计方案已有的带库3.3.2主存储系统方案目前存储区域网（SAN）是解决海量存储问题的主流解决方案，也是本项目建设要求的解决方案，同时也支持NAS方式。数据中心形式的信息数据库建设数据库及其应用系统相关的数据库即将统一存储到大容量高性能的存储设备上，存储设备与主机群之间通过SAN光纤交换机互联（具有冗余联接），同时数据备份设备也通过光纤交换机联接以提高备份效率，减轻网络和主机的压力。在本方案中，存储工程师使用高档全光纤磁盘阵列为主存储系统，从用户的投资、需求综合分析，推荐了极佳的性能价格比的产品，用户可以根据性能要求、扩展性要求、价格需求等因素来选择。根据数据中心形式的信息数据库建设该设计的需求，为了提高主磁盘阵列的性能，在该设计中推荐配备15000RPM的73GB磁盘。磁盘阵列在各方面均应充分扩展，并能够充分满足今后业务发展过程中数据迁移、系统,容灾的要求：1）硬件方面所有重要部分均应在线扩容——前端接口、磁盘控制卡、缓存、磁盘等。2）软件方面可选择不同的软件实现性能优化、数据迁移和数据容灾等：3.3.3近线备份系统传统的数据存储一般分为在线(On-line)存储及离线(Off-line)存储两级存储方式。所谓在线存储就是指将数据存放在磁盘系统上，而离线则是指将数据备份到磁带上。硬盘的优点是速度快，特别是随机访问能力强，但单位容量成本高，适合需要频繁访问的数据存储；磁带善于传输流式数据，介质与驱