龙岗数据中心网络设计方案

生命人寿保险股份有限公司龙岗数据中心网络设计方案信息技术部2009.12一、概述生命人寿保险股份有限公司在业务快速增长、结构持续改善的环境下，在业务高速发展和信息技术不断更新的同时，规划建设具有先进视野，一流标准，科学先进，并可持续发展的的信息技术基础设施与管理体系成为生命人寿业务稳定运行的重要支撑保障和跨越发展的驱动引擎。为了加强生命人寿信息技术对业务的支持能力，并加快生命人寿信息化建设向先进标准迈进的步伐，公司规划启动了生命人寿龙岗后援中心的建设。生命人寿后援中心建设作为生命人寿重要的战略部署，是生命人寿不断提升国际化、专业化管理水准的重要保证。生命人寿龙岗数据中心将为生命人寿保险股份有限公司提供有效支持。生命人寿后援中心用以支持生命人寿的企业未来业务的发展。本项目方案工作的目标是把生命人寿后援中心规划成为适应未来战略发展变化、灵活调整性强、智能化、网络化的后援中心。1,后援中心网络建设方面的总体思路企业信息基础架构的主要目标是支持企业业务的发展及提供企业用户可靠、稳定、安全及高可用的应用访问能力，在考虑业务需求和现有环境的同时也要考虑技术和业务的发展趋势。因此：后援中心承载着上层的业务应用是IT基础架构的核心灾备中心提供企业业务连续的功能网络提供数据传输和用户安全的稳定的接入安全保障企业信息的安全IT运维管理保障IT的平稳有效运作系统和数据网络和灾备基础设施策略人员IT运维管理后援中心与IT整体之间的关系2,后援中心网络规划建议在此规划建议报告中，充分考虑了金融保险业对后援中心网络必须满足的需求，并在建议中充分体现了数据中心网络应具有的：可用性可靠性灵活性/可扩展性安全性可管理性先进性在建议中，除了考虑到金融保险业对后援中心必须具有的功能之外，还特别考虑到对未来后援中心可能提供的服务和技术的支持的特点，在网络的设计中充分考虑到对集团及其成员公司的数据中心服务支持充分考虑到未来数据中心可能对社会提供数据中心服务的支持数据中心网络对高密度刀片服务器的支持数据中心网络对虚拟服务器的支持数据中心网络对资源自动分配技术的支持同时，在方案中参考了数据中心网络的最佳实践，设计中采用了成熟的先进的数据中心网络技术，它们包括：多层的服务器架构多层架构：前置/WEB层、应用层、后台/数据库层、存储层对于先进的多层的应用系统，数据中心网络采用多层（Tier）服务器网络结构，更符合应用的特点通过采用多层架构，配以多层的防火墙/IPS，提供额外的安全性为未来适应先进的应用架构提供灵活的网络平台采用先进的专线技术更少的网络投入使用逻辑链路的方式，保持原有网络架构可以支持数据、语音、图象、视频等多种业务能够提供服务质量保证，可以提供更好的带宽保证和更高的服务质量采用可靠的备份线路可以在发生故障时自动地迂回故障点，具备较高的可靠性对重要应用系统，端到端的没有单点故障点的网络架构冗余的Internet冗余的防火墙冗余的交换机和路由器设计冗余的广域网线路——WAN、CWDM/DWDM光纤冗余的服务器网络连接，如：服务器网卡Teaming技术负载分担的技术——LoadBalancer在服务器架构中采用负载分担技术，提供系统的高可扩充性、灵活性和冗余性多层异构防火墙/IDS系统架构在数据中心网络的接入区和服务器区采用多层异构的防火墙/IDS系统架构，提供更好的网络安全性网络交换机可使用PVLAN技术进一步提高网络安全性不同的应用系统虽然在同一层交换机上，但可以通过划分不同的VLAN进行分隔使用PVLAN可以限制同一VLAN之间的数据通讯，提供更多的安全性，防止ARP攻击等二，龙岗后援中心网络需求与设计龙岗数据中心将作为生命人寿所有后端业务的集中处理中心、信息管理中心、数据存储和处理中心，是一个满足各应用要求的，兼顾未来需求的核心数据中心。龙岗数据中心将作为未来5-10年人寿保险公司、资产管理公司、健康险、养老险公司及其它专业子公司的后援中心，在机房设计时，从机房空间、机柜数量、机房制冷、UPS供电等方面已充分考虑了未来的业务规模，预留了充足的发展余地。后援中心主机房占地面积670平方米，辅助功能区域面积600平方米，主机房、测试机房、通信机房总计可安放220多个标准服务器机柜，40个网络机柜，可满足未来6-10年公司业务和规模发展的需要。主机房内一期共安排了144个机柜位置，其中20个IBM主机机柜、19个网络核心机柜、10个网络列头柜、95个普通服务器机柜。主机房预留了二期75个标准服务器机柜的位置。按每个机柜放至少4台服务器计算，主机房一期可安放至少400台生产系统服务器，4套IBM主机系统。而目前上海数据中心有120多台服务器、2套IBM小型机系统在使用。通信机房共安排15个网络机柜位置，主要用于运营商通信线路接入和大楼综合布线汇接。测试机房有21个服务器机柜和1个网络列头柜，用于摆放研发、测试系统。测试机房可安放80-100台测试、研发服务器。监控间安排20多个信息点，用于连接机房大屏幕监控设备、部分网管系统和管理员终端。后援中心大楼办公区域总计设计了1500多个数据信息点，有8个弱电布线间为满足保监会下发的《保险业信息系统灾难恢复管理指引》的要求，目前公司的生产中心机房—上海生命人寿大厦机房在龙岗数据中心机房建设完成后，将作为龙岗中心机房的异地灾备机房继续运作，以满足监管要求。基于以上后援中心的基础设施需求，根据公司业务类型和IT系统运行现状，龙岗后援中心将按以下功能分区的需求进行网络规划：核心区，即网络的核心路由交换区作为整个数据中心的网络核心，需要部署高背板带宽、高可用性、高端口密度的核心网络交换机，提供全线速无阻塞交换路由服务，其核心背板带宽需要在480G以上，以保证各功能分区和核心业务系统的高效快速运行。为逻辑上区分各功能区域，网络核心与各功能区域以三层路由方式连接，为此需要配置较强包转发能力的核心网络设备，包转发能力需要在400Mpps以上。服务器群区，包括：1，核心业务系统，包括公司目前在运行的个险、银代、团险、投连险、影像、打印系统等以及将来可能增加的健康险、养老险系统等系统接入需求目前公司核心业务系统运行在2台IBMP595主机上，这两台主机共有48个千兆光纤网口。为保障核心业务系统处理速度同时为节约费用，在龙岗数据中心，这些服务器需要直接连到核心交换机上，核心交换机需要为此提供至少48个光纤接口。投连、影像、打印等系统目前运行于30余台HP380、580服务器上，这些服务器均为双千兆以太网口接入；公司目前正在筹备资产管理公司、养老险公司，预计这2个专业子公司的业务系统需要新增20台PC服务器，这些服务器均为双千兆以太网口接入。2，ERP等系统接入需求目前ERP系统运行于3台HP580服务器上。3，OA系统，包括办公自动化、邮件、文件等系统接入需求目前公司OA系统、文件服务器、邮件服务器运行于10台HPPC服务器上。4，呼叫中心客服等系统接入需求5，资金、财务管理等系统接入需求6，稽核、审计、反洗钱等系统接入需求7，视频监控、流媒体培训系统等、视频会议接入需求视频会议系统运行于2台Polycom专业设备上，视频监控系统运行于4台专业设备上。目前在上海数据中心总计有120多台各型服务器和设备在运行，其网络端口均是1000M以太网口。在数据中心主机房设计时，主机房内设计共有6排机柜，第6排为网络核心区，有1排为IBM小型机区域（可布置4套小机系统），其余4排为普通服务器机柜。普通服务器机柜每排有21-23个服务器机柜，2个网络列头柜，每个列头柜通过2条光纤上连到网络核心区。按每个服务器机柜放4-5台服务器计算，每个列头柜可支持本区域10个服务器机柜中的40-50台服务器接入，为保证高可用性，每个列头柜需要安装48口千兆以太网交换机2台。因此在每个网络列头柜中布设2台汇聚层交换机，每台交换机有48个1000M以太网口，2-4个光纤口。按所有列头柜网络设备均布置到位设计，主机房内一期需要20台汇聚层交换机，加上通信机房、测试机房的光纤汇聚，核心交换机上需要为汇聚层交换机至少配置24个光纤网口。在上海数据中心各系统迁入数据中心机房时，各系统需要物理上安装在一个区域即安排在同一排机柜中。下图为普通业务系统网络连接示意，普通服务器分别接入各网络列头柜中的汇聚层交换机，汇聚层交换机通过光纤上连到网络核心。核心交换机列头柜接入交换机系统1Web服务器系统1应用服务器系统1数据库服务器办公接入区为后援中心楼层及公司内部办公人员接入需求。公司客服、呼叫中心、两核、IT等部门将在后援中心办公，初期约有300多人搬入；后援中心大楼有四层楼面，8个弱电布线间，1500多个网络信息点。办公接入区包含了临时访问人员接入需求，配合桌面管理软件合网络准入控制系统以及部署安全策略，允许临时访问人员接入网络，获得有限网络资源。在数据中心机房布线系统设计时，各配线间的光纤集中汇聚到通信机房，为保障可用性，在通信机房需要部署2台汇聚层交换机，每台要求为有16口以上千兆光纤网口，其中4口上联到核心交换机，16口连接到各配线间交换机。配线间交换机要求每台有48口10/100M以太网口，2个光纤口，总计需要20台。考虑到上海可调配8-10个48口交换机，数据中心网络设备采购时，新采购10台48口交换机可基本满足需要。下图为后援中心大楼办公网络接入结构，其中汇聚层交换机安装在通信机房。核心交换机汇聚交换机布线间1布线间2布线间3研发测试区研发测试区域，新系统研发及新系统上线前测试接入需求目前IT研发、测试环境服务器总计约有50多台，均为HPPC服务器，在龙岗后援中心测试机房内布置了20个标准服务器机柜，用以安放研发、测试服务器，按机柜空间和配电系统容量，可摆放80-100台PC服务器。在龙岗后援中心办公的IT研发人员初期约有50多人，预计未来约有200人；IT外包人员初期有40多人，预计未来有100多人。对于IT外包人员，通过配置安全策略，只允许访问部分开发、测试系统和Internet资源。下图为研发测试区域的网络连接示意：测试服务器群开发服务器群核心网络IT研发人员接入IT外包人员接入安全控制只允许外包人员访问部分开发、测试服务器及部分Internet资源外网接入区1，Internet接入区在Internet区域需要部署防火墙、入侵检测设备、接入认证设备、上网行为管理设备等安全设备；同时需要部署公司网站、邮件前置机、邮件网关、电子商务服务器、包括公司网站、VPN接入等服务器，部署在Internet区域的服务器初期约有20台。Internet接入区需要普通48口网络交换机4台。下图为Internet网络接入IDS入侵监测IDS入侵监测电子商务Web服务器群电子商务应用服务器群链路负载均衡设备防火墙防火墙核心网络VPN接入服务器ISP1ISP22，第三方接入Extranet到各银行、保监会、证券交易所、证券公司和其他合作伙伴的接入需求。初期由于投资交易中心需要保留在荣超中心办公、银保通专线保留在上海接入，暂时无第三方接入需求。为保留一定的应急扩展能力，初期计划采购1台中低端路由器，以便有需要时快速安装。下图为第三方接入网络结构：防火墙核心网络安全控制第三方合作伙伴主第三方合作伙伴备内部广域网接入区域1，分支机构接入目前各地有19家分公司专线接入、全国70多家中支机构通过分公司接入数据中心的需求，因此需要一台高性能的核心路由器，具有多种数据接口类型，以汇聚19家分公司上联的数据专线。按我公司实际使用情况，一条OC-3/STM-1线路就可以很好的满足我公司的需求，这条线路可划分成63条2M线路传输数据。2，荣超商务中心总公司办公职场接入需求荣超中心有400位总公司员工需要访问龙岗数据中心各业务系统3，上海生命人寿大厦灾备中心机房接入需求生命人寿大厦机房作为龙岗数据中心的灾备机房，有数据同步、业务系统互备等需求。以上2、3项的需求需要另外部署一台中高端路由器，分别通过2条互