虚拟存储整合技术在新疆油田公司的应用

虚拟存储整合技术在新疆油田公司的应用新疆油田公司数据中心金云华朱玉凤王晓军新疆油田公司近年来逐步建立了由决策层、管理层、执行层和支撑层构成的信息化管理体系，成功地研发了油田数据管理平台、油田空间数字平台、业务流程管理平台等数字油田信息平台。同时，收集整理了自1941年以来的油田生产数据，目前拥有数据78TB，各类应用系统120套及强大的数据库服务器和应用服务器。为了实现油田数据的共享，充分发挥数据在油田各行业中的作用，各二级单位数据和应用需要逐渐实现集中管理，并对现有资源进行整合。目前，油田公司数据中心存储设备主要有4套：用于油田公司中心数据库数据存储的容量为6TB的HDS9585；用于为地球科学和钻井系统及上游生产信息系统(A1A2系统)数据存储的容量为24TB的EMCCX700、一套IBM3584自动带库以及一套IBM3494自动带库。为了充分利用这4套设备资源，便于应用和管理，需要对这4套存储设备进行整合，做到统一规划、数据共享。生产经营数据存储设备使用现状及需求分析2004年，油田公司数据中心先后购置了一台容量为6TB的HDS9585数据存储和三台SunE4900数据库服务器，实现了中心数据库集群，使勘探、开发、经营、管理数据实现集中管理。由于HDS9585和EMCCX700存储设备相互独立，且各系统发展不均衡，导致某些系统建设之初规划了很大的容量和很高的性能，但实际运行过程中却没有那么大的需求，而另一些应用建设之初却陷入了容量和性能不足的困境，而其他系统富裕的资源却不能拿来使用，导致HDS9585存储必须升级扩容，而EMCCX700存储资源却被闲置的局面，各存储资源不能做到统一规划，协调利用。此外，由于HDS9585和EMCCX700存储设备厂商不同而形成了数据孤岛，资源不能互通和有效利用，同时为系统的维护管理、性能优化、故障排查、数据迁移、容灾备份等都带来极大的不便和困难。因此，油田公司需要建设一套集中统一的高性能、高可靠性的存储平台。新平台必须能够对原有的异构存储环境进行整合，能将原有的存储设备作为新存储平台的外部存储设备，使新的存储设备和原有的存储设备形成一个统一完整的存储池，由新的存储设备进行统一管理，最大限度地发挥原有存储资源的再利用能力。同时，新的平台能够提高原有存储环境的整体运行性能，整个存储环境对各业务透明，存储平台可以根据各业务的特性和需要，灵活分配存储容量、处理能力等各种资源，确保关键业务的稳定可靠运行。借助新的存储平台，存储设备能方便扩容，各存储设备能够方便地进行无缝的数据迁移，并且实现集中的存储备份，并满足未来容灾的需要。存储整合技术思路在存储整合过程中，需要着重考虑以下几方面原则：平台整合整合不但要满足数据中心目前和未来集中存储的需要，还要对已有系统的存储环境进行最大限度地整合，实现服务器的集中访问、数据资源的集中存储和处理。高性能新的存储平台整合了所有的应用后，必须具备强大的处理能力，能消除原有存储设备的性能瓶颈。可扩充性应确保在原有的系统平台上扩展和实现新功能、新业务的增加。高可靠性存储平台具有高可靠性，支持服务器平台的高可用性集群技术；具备先进的容灾设计；充分保证系统的高扩展能力和高容错能力，具有通道负载自动均衡能力和存储系统性能调节能力。高可用性在存储和其他应用系统尽量不停机的情况下，实现扩容、维护、升级等服务，提高性能以满足新的业务需求，具备7×24连续工作的能力，系统的可用性应能达到100%，可以实现磁盘数据的在线不停机备份。可管理性要求配置实时性能监测管理软件，可对CPU使用率、内存使用率、交换区使用情况、I/O操作、队列状态、磁盘空间、卷磁盘错误、系统事件、系统中各进程对系统资源占用等性能和操作数据等服务器性能进行实时监控、管理和调配。技术先进性系统设计采用当前先进而成熟的技术，不仅可以满足现实工作的需求，也应把握未来存储整合的发展方向。虚拟化存储设计方案根据以上分析，公司决定采用日立数据系统(HDS)有限公司企业级存储产品TagmaStoreNSC55网络存储控制器或UniversalStoragePlatformV(USPV)作为数据中心存储整合的核心设备，配合HDS的存储管理软件、数据快照镜像软件，形成一套完整、高效的存储整合解决方案。本项目采用SAN架构进行整个存储系统的建设，存储网络将分为服务器层、网络交换层和集中存储平台三个层次。服务器层需要对公司数据中心各业务系统的服务器进行改造，增加光纤通道主机卡HBA，使这些主机具有访问存储网络的能力。网络交换层采用Brocade企业级大吞吐量的SAN交换机，保证服务器和外部存储设备到网络存储控制器的高速连接。集中存储平台这是本次存储整合系统建设最核心的部分。我们采用HDSTagmaStoreUSPV网络存储控制器，为其配置1块前后端混合处理板，提供16个4GB的前端主机接口和8个后端磁盘接口，为其配置5GB控制缓存和16GB数据缓存，在其内部配置20块300GBFC磁盘共计6TB裸容量，作为整个集中存储环境的基础。对于数据中心正在使用的HDS9585和EMCCX700等设备，可以通过SAN交换机直接连接到USPV的后端，作为它的外部存储设备，通过HDSUVM通用卷管理软件，可以把外部存储设备的逻辑卷直接映射到USPV上去，由USPV统一管理和使用，而对前端服务器来说所有的工作都是透明的。通过USPV的存储整合，整个存储平台提供给服务器访问的是由USPV统一管理的存储空间，存储容量包括6TB的USPV内部容量和30TB外部容量（分布在HDS9585的6TB、EMCCX700的24TB），最大限度地保护了油田公司的投资，同时未来可以很轻松地根据各业务的繁忙程度、数据量增长情况、性能需求等灵活地进行存储资源的再分配，真正实现数据分级存储和应用优化存储。由于采用USPV进行了存储环境的整合，就可以很方便地通过USPV对原来异构的存储设备进行集中的数据备份和容灾。本次我们在备份中心选择IBM3494(40TB)作为近线备份设备，可选用HDSAMS200存储产品作为远程实时数据备份的存储设备，将AMS200通过油田公司已有的光纤链路直接连接到数据中心的SAN交换机上，并且将AMS200也作为USPV的外部设备来管理和使用。同时，选择HDSInsystemReplicationSuite系统内数据复制套件来实现数据的快照/镜像复制，将数据中心各个业务系统的数据通过镜像的方式复制到AMS200上进行保存，当数据中心发生故障时，可迅速从AMS200上进行数据恢复，或直接将应用系统服务器连接到AMS200，先恢复业务的正常运作。项目实施：整合原有存储，形成统一平台从附图中可以看出，以HDSUSPV作为核心搭建的存储系统架构由三个层面组成：应用主机层，集中了所有的业务系统主机；核心存储和虚拟化引擎层，由HDSUSPV搭建；异构存储池，由系统中的若干利旧设备，如HDS、EMC等厂商的各档存储设备组成。上述的三层架构实现的存储优化拓展功能包括：1．核心引擎——满足高性能及高可靠性需求。在上述三层架构中，HDSUSPV智能控制器系统和磁盘子系统由HDS公司进行统一设计，传承了延续数代的高可靠性技术和高性能技术，因此完全能够担负起整个存储系统的核心指挥职能。2．存储分区——增强数据可靠性及访问性能。目前核心关键数据保存在HDSUSPV的内置磁盘上。为了进一步保证各省关键业务的存储响应时间，HDSUSPV可以端口、Cache以及磁盘为单位，划分独立的存储分区，形成数个存储子系统与各业务相对应，在每个子系统内部存储资源的访问可以被相应的应用业务所独享，保证关键业务系统具有稳定的I/O服务质量。3．存储整合——通过存储虚拟化技术实现利旧整合。在HDSUSPV自带虚拟化引擎的驱动下，异构存储池被映射成HDSUSPV的内部存储资源。应用主机层不必关心异构存储池的设备组成，只需使用面向HDSUSPV的统一接口就能够透明的访问异构存储池资源。4．分级存储——通过存储虚拟化技术实现数据自动分级转移部署。非关键的业务数据、以及随着时间发展重要性渐渐降低的历史数据被HDSUSPV虚拟化引擎逐步迁移到异构存储池中，关键业务数据、最新业务数据在HDSUSPV的自带内置硬盘空间上进行保留。5．应急系统联机恢复——通过存储虚拟化技术实现在线应急恢复。利用HDSUSPV进行数据迁移的功能，虚拟化之后的CX700作为应急系统启用后，可在主机业务运行的情况下，在线转移回到HDSUSPV主存储系统，无需调度生产业务系统的停机。6.异构系统灾备——通过存储虚拟化技术实现异构数据统一复制。HDSUSPV虚拟化引擎的异构容灾技术，支持异构存储池中的任意存储设备进行远程互备，大大简化了容灾系统的部署和管理。无缝数据迁移，真正实现数据分级存储数据迁移是企业IT经常面对的工作，本次需要面对的是存储领域的数据迁移。在采用了HDS的USPV网络存储控制器之后，所有的数据复制问题显得非常简单。仅仅需要将原有的光纤存储设备挂接到USPV的后端，然后修改原有设备的LUN属性使得USPV能够看到外部设备，此时应用系统既可以进行数据访问，而USPV数据迁移软件可以自动在后台进行，当迁移完成后用户就可以释放外部存储设备上的空间。通过HDS的USPV网络存储控制器不但可以将外部存储设备的数据无缝平滑的迁移到内部，还可以很方便的将USPVU内部的数据迁移到外部存储设备上去或者在两个外部设备之间进行数据迁移。这样，我们就可以根据各个应用的生命周期，灵活的进行数据部署，确保最有效地存储资源分配给了最关键的业务系统，或是在业务系统最关键的反展阶段能够获得最高效的存储资源。存储分区保证关键业务经过对油田公司数据中心各个业务系统的运行特点进行分析，发现油田公司数据中心各个业务系统具有很大的不均衡性，某些业务可能产生的效益非常高非常关键，而另一些业务却十分低。因此，对于效益非常高的关键应用就有必要给予特别的关照，给予足够的系统资源，保证这些应用的连续不间断运行。HDSUSPV的虚拟分区技术正好可以满足这一要求。USPV独有的存储虚拟分区技术，通过选配分区软件，可以将一台USPV分成多个专用虚拟存储机，每个专用虚拟存储机都拥有专用的高速缓存、前端主机通道、后端磁盘通道、磁盘组等存储资源，可以为油田公司数据中心中最关键的业务分配独立的分区，不同分区之间可以实现完全隔离和安全保证，确保最重要的应用能够享受到最好的服务质量。如下图所示：设备配置说明1、数据中心核心存储平台HDSUSPV：•配置20快300GB10Krpm双活端口光纤磁盘，存储阵列物理容量共6TB，采用RAID1（2D＋2D）数据保护方式，系统可用容量为3TB•配置16GB数据缓存（Cache），5GB控制缓存•配置一对前后端混合处理板，包括16口2GB/4GBFC前端接口•配置了1对16口主机接口板，共32个2Gbps主机端口•配置1块300GB10Krpm全局热备盘2、USPV存储系统软件：•配置ResourceManager资源管理套件，包含SAN环境下LUN安全管理的软件许可SANtinel，包含性能优化的软件许可FlashAccess•配置USPV存储系统内数据复制套件，包括ShadowImage数据镜像软件和QuickShadow数据快照软件，共15TB软件许可，可以通用于USPV内部数据卷和外部存储数据卷•HitachiDynamicProvisioning（日立动态配置）软件、增强型UniversalVolumnManager（通用卷管理软件）在企业级虚拟层实现了动态精细化预配置功能，使用户首次能够在一个整合的解决方案中就可同时获得外部存储虚拟化的益处，根据自身所预期的未来需求合理分配虚拟磁盘存储，而无需预先分配专用的物理磁盘存储,通过对主机的容量欺骗来实现存储容量动态的最大化利用。许可容量15TB，用于管理HDS9585和EMCCX700和新购的AMS200这些外部设备3．灾备中心存储设备HDSAMS200：•配置双控制器，2GB缓存•配