VMware-ESXi集群经典案例(原创)

VMwareESXi集群实例HPC7000刀片服务器DELLEQlogicIPSAN万兆存储华为S6700万兆核心交换机目录一、案例概述...................................................................................................................................3二、系统拓扑图...............................................................................................................................3三、设备清单...................................................................................................................................3四、详细连线图...............................................................................................................................5五、网络划分...................................................................................................................................5六、HPVC模块网络配置................................................................................................................5七、DELLEQLogic存储规划、配置................................................................................................91、拓扑图.................................................................................................................................92、存储管理网络.....................................................................................................................93、存储业务网络.....................................................................................................................94、存储LAN划分规划..........................................................................................................105、存储管理...........................................................................................................................10八、华为万兆交换机规划、配置.................................................................................................101、VMware管理网络............................................................................................................112、vMotion网络....................................................................................................................113、业务网络...........................................................................................................................114、存储网络...........................................................................................................................11九、VMware集群规划、配置......................................................................................................121、集群概览...........................................................................................................................132、集群网络配置...................................................................................................................143、集群管理机规划、配置...................................................................................................16一、案例概述该案例主要搭建一套小型的私有云中心，以给需要计算资源的单位提供相应的服务。将硬件资源（刀片服务器、存储等）通过VMware的虚拟化软件来实现。二、系统拓扑图三、设备清单1、刀片服务器两台HPC7000刀片机箱，每机箱配置8个刀片服务器及四个VC模块，具体如下：（1）HPC7000刀箱*2（2）HPBL420c刀片*8（每刀片配置两颗CPU、128G内存、4个10GB以太网卡）（3）HPVirtualConnectFlexFabric10Gb/24-portModule模块*4（4）其它（OA管理模块、电源、风扇等）2、DELLEQlogic存储存储共配置了6个盘柜，三个为高速盘柜（PS6110XV，双控制器、8G缓存、24×600GB15KrpmSAS热插拨硬盘），三个为低速盘柜（PS6110E，双控制器、8G缓存、24×3TB7.2KrpmNL-SAS热插拨硬盘）（1）DELLEQLogicPS6110XV*3（2）DELLEQLogicPS6110E*33、华为S6700万兆交换机共配置了两台，具体如下（1）华为S6700-48-EI*2（配置48个万兆SFP接口、支持三层交换）4、虚拟化软件VMware虚拟化软件采用的VMwarevSphere5.0Enterprise，32个CPU授权（16个刀片，每刀片2个CPU）。四、详细连线图以太网业务网络和IPSAN网络都先连接至华为S6700万兆交换机上，业务网络核心交换机华为S9312再与S6700万兆交换机通过4根10GB光纤相连。各网络通过VLAN来隔离。刀片的VC模块多根线连接至S6700时，连接在S6700上的多个端口需要做端口聚合（华为交换机中称E-trunk）。端口聚合：交换机会把一组物理端口联合起来，做为一个逻辑的通道，也就是channel－group，这样交换机会认为这个逻辑通道为一个端口。五、网络划分在一个私有云中，不单有存储网络及业务网络，还有其它一些辅助的网络，如VMware管理网络、VMwarevMotion网络、存储管理网络等。此次具体划分如下：（1）VMware集群管理，IP：172.22.228.0/128，网关：172.22.228.1，VLANID：228（2）业务网络，IP：172.22.227.0/24，网关：172.22.227.1，VLANID：227（3）vMotion网络，IP：10.100.100.0/24，网关：无，VLANID：3000（4）Iscsi存储管理网络，IP：172.22.228.128/128，网关：172.22.228.129，VLANID：229（5）Iscsi存储业务网络，IP：10.200.88.0/22，网关：无，VLANID：3088六、HPVC模块网络配置从详细连接图中可看出，每个刀箱配置了四个VC模块，两个模块用于以太网连接，两个模块用于IPSAN连接。在整个配置过程中，唯一与传统服务器不同的是网络的连接方式。传统服务器只需将网络接入服务器的物理网口即可。但本项目中HP刀片服务器使用了VC模块来接入网络。每台刀片服务器配置了2块双端口万兆物理网卡，即有4个物理网口。每个物理网口需有一个VC模块来对应，VC模块如下图所示：所以每个刀箱配置了4个VC模块。每个刀片的1个物理网口通过VC模块，可以虚拟出4个虚拟网口（4个虚拟网口总带宽仍为10GB），即4个物理网口可以虚拟出16个虚拟网口。虚拟的网口带宽可以随意分配，如1G+3G+3G+3G=10GB，当然也可以虚拟成三块，如1G+3G+6G=10G。刀片的4个物理网卡由两块双端口的卡组成，第一块接在主板上，称为LOM，第二块接入Mezz插槽，称为MezzSlot1插槽。在VC中LOM网卡的第一块标记为LOM:1，第二块为LOM:2。MezzSlot1在VC中第一块标记为Mezz1:1，第二块为Mezz1:2。如下图所示。在VC中，每个物理端口都被分成了a、b、c、d四个虚拟网口，例如LOM:1网口就被虚拟成：LOM:1-a、LOM:1-b、LOM:1-c、LOM:1-d。其它三个网口以此类推，则16块虚拟网卡如下图所示。我们知道，在VMware中，网卡的序号是vmnic0、vmnic1、vmnic2这样顺序排下去的。在VC中，每个虚拟网卡如LOM:1-a也有一个序号。这三者之间的关系如下图所示。在整个VMware集群中，网络分为管理网络、业务网络、vMotion网络及Iscsi存储网络。对应的带宽分配如下：1、VMware管理网络，带宽1+1=2GB，VLANID：2282、业务网络，带宽6+6=12GB，VLANID：2273、vMotion网络，带宽3+3=6GB，VLANID：30004、iSCSI存储网络，带宽10+10=20GB，VLANID：3088VMware四部分网络对应刀片的网口划分如下图所示：综合上面的对应表，即能得出本案例网卡对应表，如下：七、DELLEQLogic存储规划、配置共配置了6个盘柜，存储的网络划分成管理网络和存储网络两类，管理网络通过一个单独的交换机，将6个盘柜连接起来，网络地址为172.22.228.128/128。存储网络地址为10.200.88.0/22，存储服务地址为10.200.88.200/22。详细如下：1、拓扑图两台华为的6700交换机，存储有两个控制器，接入规划为每个盘柜的控制器A接入第一台华为