中石油数字化网络服务器虚拟化技术实践及规划

中国石油长庆油田数字化网络服务器虚拟化应用第六采油厂-科技与信息中心2012年2月15日议程应用实施范围考虑服务器采购考虑虚拟机部署考虑管理维护考虑议程应用实施范围考虑服务器采购考虑虚拟机部署考虑管理维护考虑应用实施范围总体原则不适合采用虚拟化的应用具有特殊硬件访问要求的应用高性能图形显卡---不适用虚拟化特殊的串/并行加密设备---不适用虚拟化USB设备连接需求---可能不适用，可采用外置USB设备代替，需经过测试即使在高配置的服务器上仍然具有很高负载的应用---可能不适用，需分析当前服务器配置情况可以采用虚拟化的应用除上述不适合采用虚拟化的应用之外的所有应用可根据应用迁移的复杂程度决定虚拟化先后顺序较易实现P2V的应用可先做迁移，如可用Converter工具直接迁移的应用较难或不能做P2V迁移的应用可考虑采用重新安装方式后迁根据管理的需要决定是否做虚拟化虚拟化转变过程对现有业务的影响程度转变为虚拟化后对现有管理的影响程度部门之间协调的难易程度虚拟化宿主服务器的部署类型垂直扩展与水平扩展部署模式不同资源池的“量子化”模型物理主机HypervisorVMOSAppVMOSAppVMOSAppVMOSAppVMOSAppVMOSAppVMOSAppVMOSAppVMOSAppPhysicalHostHypervisorVMOSAppVMOSAppVMOSAppPhysicalHostHypervisorVMOSAppVMOSAppVMOSApp物理主机HypervisorVMOSAppVMOSAppVMOSApp不同资源池的类型垂直扩展的主机模式提供更大的连续性资源空间更容易满足不同负载的吻合性要求可提供更高的资源利用率水平扩展的集群主机模式更像是一组小池子的集合多组小容量资源池需要更多的监控管理模块化使用既有优点也有缺点影响虚拟化部署的参数体系功能的多样化服务器的重要性独立服务器不重要重要(独立的,本地存储等等)(群集的,多主机的等等)服务器农场(水平扩展服务器群集，公用服务器等等)(后端办公,本地应用等等)负载约束技术约束商业约束困难度增加负载约束不同的资源组都需要分别考虑CPU利用率磁盘I/O网络I/O内存利用率虚拟化造成的额外负载通常也要做一定考虑，如磁盘和网络的I/O会增加CPU的负担iSCSI存储访问也会增加CPU负担运维的周期性负载变化也必须考虑进来月末负载变化年末负载变化技术约束技术约束通常主要是指：兼容性（指系统/应用的兼容性）关联性（如系统是摩格逻辑组的一部分）大部分环境下，这些约束包括了：网络连接（子网段级别）应用之间的互连性相关的存储使用技术所用的硬件和外设软件支持度和认证这些约束条件根据虚拟化在内核上下实现的不同而有所不同共享与分离OS镜像模式商业和流程的约束规模较小或集中的情况下容易被忽略的约束在实验室的测试环境可以不考虑，但生产环境必须要考虑在虚拟化中常见的商业和流程约束包括：维护窗口和冻结改变地理位置和其他物理限制运维环境，安全区域，应用分层部署考虑商业组织，部门以及客户法规政策的考虑与限制忽视这些约束条件将可能导致不可预知的结果具体情况具体分析，根据目标制定计划议程应用实施范围考虑服务器采购考虑虚拟机部署考虑管理维护考虑虚拟化中使用的硬件应满足兼容性列表要求所有用于实现VMwareVI3虚拟架构解决方案的设备，包括：服务器系统、存储系统、IO卡设备等，应满足VMwareVI3产品兼容列表的要求，最新的兼容列表可从如下的连接找到：服务器系统兼容列表《HCL:SystemsCompatibilityGuideForESXServer3.5andESXServer3i》存储系统兼容列表《HCL:Storage/SANCompatibilityGuideForESXServer3.5andESXServer3i》IO卡设备兼容列表，包括网卡、FCHBA卡和iSCSIHBA卡等《HCL:I/OCompatibilityGuideForESXServer3.5andESXServer3i》ESX服务器硬件配置考虑要点–CPUsESX调度CPU周期满足虚拟机和ServiceConsole的处理请求可用的CPU目标数量越多，ESX管理这个调度机制的效果越好（单台服务器配置8个以上的CPU核会有最好的效果）超线程技术并不能提供等同于多核处理器的好处；建议关闭CPU的超线程功能（如果有的话）使用具有EM64T能力的IntelVT或AMDV技术的CPU可以同时支持运行32位和64位的虚拟机采用同一厂商、同一产品家族和同一代处理器的服务器组成的集群，可以获得最好的VMotion兼容能力ES的EnhancedVMotion兼容性扩大了原有VMotion的兼容能力-《AlleviatingConstraintswithResourcePoolsLiveMigrationwithEnhancedVMotion》---参见《BestPracticesforSuccessfulVIDesign》ESX服务器硬件配置考虑要点-内存内存资源往往比CPU资源更会成为潜在的瓶颈在某些时候，虚机环境的内存使用量可能会超过物理内存值：Hostswapfile(尽量少用以获得最佳性能)TransparentPageSharing（多个虚机共享相同内存页面）注意服务器特定的内存配置要求DIMMsizes,bankpairing,parity,upgradeconsiderations(mixandmatchorforkliftreplacement)尽可能将服务器配置到最大内存，采用最大容量的内存条（特别是当没有配满全部内存条时）---参见《BestPracticesforSuccessfulVIDesign》虚拟架构的基本网络连接部件组成(Managementvirtualmachine)(Vmotion,iSCSI,NFS)(VMconnectivity)PortGroupPortGroupPortGroupESX服务器硬件配置考虑要点-网络---参见《BestPracticesforSuccessfulVIDesign》最少配置一个虚拟交换机，测试环境可用2个虚拟交换机，生产环境建议最少配置3个虚拟交换机虚拟交换机可同时支持3种类型的端口组(ServiceConsole,VMkernel,VM)建议将ServiceConsole、VMkernel和虚机端口组各自使用自己的虚拟交换机可用VLAN技术分割不同的端口组对于使用VMotion和DRS功能的服务器集群，网络配置应该相匹配（虚拟交换机的数量与网络卷标名应保持一致）ESX服务器ServiceConsole使用固定IP，配置正确的speed和duplex。ESX服务器硬件配置考虑要点-网络-虚拟交换机和端口组---参见《BestPracticesforSuccessfulVIDesign》ESX服务器，虚拟交换机，物理网卡出于冗余的考虑，每个虚拟交换机建议至少分配两个物理网卡每个ESX服务器的物理网卡/口数量取决于准备配置的虚拟交换机的数量如果3种类型的端口组（SC,VMkernel,VM）都在不同的虚拟交换机上，生产环境建议至少6个物理网卡/口如果给包含虚拟机端口组的虚拟交换机分配更多的物理网卡/口，可以获得负载均衡的好处ESX服务器硬件配置考虑要点-网络基本组件---参见《BestPracticesforSuccessfulVIDesign》物理网卡/口与物理交换机同一个虚拟交换机上的不同物理网卡/口应连接到不同的物理交换机上将一个集群中所有服务器的VMotion功能端口组所使用的物理网卡/口都连到同一套物理交换机上（同样遵循上述第一条规则）ESX服务器硬件配置考虑要点-与物理网络的连接---参见《BestPracticesforSuccessfulVIDesign》Example1:BladeServerwith2NICPortsvSwitchvmnic0SCvmkernelActiveStandbyvmnic1CandidateDesign:TeambothNICportsCreateonevirtualswitchCreatethreeportgroups:UseActive/StandbypolicyforeachportgroupPortgroup1:ServiceConsole(SC)Portgroup2:VMotionPortgroup3:VMtrafficUseVLANtrunkingTrunkVLANs10,20,30oneachuplinkPortgroup1VLAN10Portgroup3VLAN30Portgroup2VLAN20VLANTrunks(VLANs10,20,30)Example2:Serverwith4NICPortsvmnic0SCvmkernelActiveStandbyvmnic1CandidateDesign:CreatetwovirtualswitchesTeamtwoNICstoeachvSwitchvSwitch0(useactive/standbyforeachportgroup):Portgroup1:ServiceConsole(SC)Portgroup2:VMotionvSwitch1(useOriginatingVirtualPortID)Portgroup3:VMtraffic#1Portgroup4:VMtraffic#2UseVLANtrunkingvmnic1andvmnic3:TrunkVLANs10,20vmnic0andvmnic2:TrunkVLANs30,40Portgroup4VLAN40VLANs10,20vSwitch0Portgroup1VLAN10Portgroup2VLAN20vSwitch1vmnic2vmnic3Portgroup3VLAN30VLANs30,40Example3:Serverwith4NICPorts(SlightVariation)vmnic0SCvmkernelActiveStandbyvmnic1CandidateDesign:CreateonevirtualswitchCreatetwoNICteamsvSwitch0(useactive/standbyforportgroups1&2):Portgroup1:ServiceConsole(SC)Portgroup2:VmotionUseOriginatingVirtualPortIDforPortgroups3&4Portgroup3:VMtraffic#1Portgroup4:VMtraffic#2UseVLANtrunkingvmnic1andvmnic3:TrunkVLANs10,20vmnic0andvmnic2:TrunkVLANs30,40VLANs10,20vSwitch0Portgroup1VLAN10Portgroup2VLAN20vmnic2vmnic3Portgroup3VLAN30VLANs30,40Portgroup4VLAN40ServerswithMoreNICPortsMorethan4NICPorts—DesignConsiderationsWithTrunks(VLANtagging):UsepreviousapproachandscaleuptomeetadditionalbandwidthandredundancyrequirementsAddNICstoNICteamsupportingVMtrafficVLANTaggingalwaysrecommended,butoptionsifNICsavailable:DedicatedNICforVMotionAtle