虚拟机日常维护手册

虚拟机日常维护手册1目的为提高处理虚拟化服务器故障的能力，形成科学、有效、反应迅速的日常管理流程和应急处理机制，确保虚拟化平台的安全和稳定运行，最大限度地减小服务器故障对生产的影响，降低业务中断风险，特制定本手册。2故障处理规范2.1硬件维护平台服务器出现硬件告警需要停机维护，服务器责任人应立即通知相关人员，将业务虚机迁移到集群中其他服务器主机上，再将故障服务器切换至维护模式并从HA集群中移除，负责陪同硬件厂家现场更换至成功恢复。2.2虚拟化平台故障发生平台故障后，相关人员应及时查找、确定故障原因，进行先期处置。若故障在短时间内无法修复，相关人员应将业务迁移到备用平台环境中，保持业务系统的正常运行；将故障服务器脱离网络，进行故障排除工作，并及时联系相关人员或厂商协助解决。2.3虚拟机软件系统故障（1）日常做好虚拟机的定时备份和快照，系统崩溃后，应能够及时恢复虚拟机。（2）发生虚拟机系统故障后，相关人员应及时通知业务人员检查出现故障的原因并尽快排除。（3）如遇虚拟机系统需要启用备份系统进行恢复时，应在恢复后和业务管理员仔细检查业务是否恢复并做好恢复记录。2.4虚拟化平台日常告警故障排除当虚拟化平台出现告警信息，通过以下步骤排除：（1）确定故障原因。查看已触发的警报内容，确定故障前操作是否是引发该故障的原因，对合规操作引起的告警，进行消除。（2）对提示硬件产生的告警，应查看硬件状态信息，对确认是硬件的问题按硬件维护预案处理。（3）对提示因资源不足或性能引发的告警，因查看近期性能图表，找出原因，消除故障提示。（4）对于无法判断的故障，可导出系统日志发给厂家分析处理3虚拟化平台故障预防3.1虚拟机实时状态备份在对虚拟机进行调整配制前，做快照，以防配置虚拟机后出现故障，如无问题，可删除虚拟机快照，另外也可利用快照最为一种备份的方式，定期做虚拟机快照，当出现问题时，可恢复到最近的快照状态。6虚拟化平台故障恢复虚拟化平台系统出现故障，先对问题进行定位，按前述预案处理，若故障依然存在，通过以下步骤恢复：（1）用快照进行虚拟机恢复。如果虚拟机中包括数据库和实时状态信息，要在恢复后进行必要的数据库文件恢复，并还原系统实时状态。（2）用NBU从备份系统中进行系统还原，还原后进行必要的状态信息检查（3）虚拟化操作系统恢复，通过重新安装虚拟化操作系统—vsphere还原底层平台，并重新部署到群集系统中。摘要：有时，VMware管理员如走过场一样执行日常维护任务。他们做X、检查Y然后把把Z的脉搏。但是很重要的一点是要弄明白这么做的目的。维护工作不仅仅是要维持系统在线，它同样保证您可以从现有投资中获得最大收益。虽然ESX、vSphere、vCenter和Workstation都是成熟和稳定的虚拟化技术，但是它们依然需要进行日常维护。花费一些时间去了解您的架构，然后制定VMware维护计划以满足您的SLA（servicelevelagreement）级别并尽量减少工作压力。下面的纲要中包含了一些最佳实践，但是每个虚拟化架构各有不同，您需要选择最适合的方式。VMware维护工作根据频率可以大致分解为：每天、每周和每月。VMware日常维护工作我每天要进行的维护工作如下：◇查看报警邮件。邮箱监控是一种持续的、被动的、而且一旦正确设置后不需花费很多精力的监控方式。当您逐渐熟悉系统架构后，还可以区分出警报的不同类型，识别哪些是紧急的需要立即处理，哪些是需要逐步去改变的。假设某个特定的数据库在每天的固定时间发送CPU占用率过高的警报，那么最好调节一下报警设置的条件和频率。不要忘了《狼来了》的故事，避免因为过多无关紧要的警报而忽略了那些关键问题。◇巡视服务器所在的房间。虽然我也设置了警报，但通过对主机所在的房间进行一次快速的巡视我可以马上判断出发生了什么，这非常有用，尤其是忽略了某个警报的时候可以补救。所有的风扇都在运行吗？是否出现内存差错？SAN系统中的磁盘驱动器正常吗？通过观察硬件上的指示灯我可以获得基本的状态信息。我还会快速检查一下不间断电源的供电电压，以及现在的运行时间。知道了这些，一旦发生灾难，我可以知道有多少时间可用来关闭设备。除了这些快速观察外，我还经常使用HP公司在宿主机上集成的Lights-Out端口来检测硬件状态和温度，尤其在没有物理登陆宿主机或SAN的时候，这么做非常有必要。◇环视一圈vCenter/VirtualCenter。我会执行所有还未完成的任务，瞥一眼ESX主机的性能然后感受一下各个组件是否正常。当您对系统每天的性能表现足够熟悉的时候，就很容易看出问题。相信我，无论系统看起来多么协调，在某些时候都会出现问题。这个过程如同您很熟悉自己在静止时的心跳，同时还需要通过跑步机或骑自行车来定期检验一下。VMware每周维护工作每周我会执行如下动作：◇备份vCenter/VirtualCenter数据库。我的现有系统变化不太频繁，因此一周执行一次数据库清理和管理服务器的全备份就可以了。如果您的系统处于不断地动态变化中，可以频率高一些。依然要强调那个老问题：如果您希望将来可以重建，拥有数据库的备份很重要。VMware每月维护工作每月我们进行如下的管理行为：◇清理存储。如果存在过期的快照，最好尽快清理掉。如果无法确定是否存在，可以通过VMwareSiteSurvey查看。◇检查服务协议。您是否已经升级了售后服务？到了做新的预算来购买所需支持服务的时候了吗？◇预想将来要做的升级。目前为止，所有的工作都在围绕保持系统正常工作上。让我们向后一步，闭上眼睛不妨从相反的角度来考虑：您希望系统如何工作?怎样可以改善业务？然后找出一条正确的路来实现。这听起来像在做白日梦，不过或许这会成为您一天中最高效的一段时间。31、为主机应用HostProfiles提示compliance错误故障状态：为主机应用HostProfiles失败，提示如下错误：01.Specificationstateabsentfromhost:device'datastore'stateneedstobesetto'on'02.Hoststatedoesn'tmatchspecification:device'datastore'needstobereset03.Specificationstateabsentfromhost:device'datastore'PathSelectionPolicyneedstobesetto'VMW_PSP_FIXED'04.Hoststatedoesn'tmatchspecification:device'datastore'PathSelectionPolicyneedstobesettodefaultforclaimingSATP故障分析：这是由于PSA组件导致的；解决方案：1、右击HostProfiles后点击Enable/DisableProfiles配置选项；2、展开“StorageConfiguration”选项，展开“PluggableStorageArchitecture”这个uxanxiang；3、去掉“PSADeviceConfiguration”；4、展开“NativeMuti-Pathing(NMP)”这个选项后，接着展开“PSPandSATPconfigurationforNMPdevi”选项；5、去掉“PSPconfigurationfor”这个选项后点击OK即可。33、分析、解决IOPS导致的虚拟机/存储性能下降和虚拟机磁盘延时较大的问题故障状态：1、虚拟机性能较低；2、在执行备份时磁盘延时很厉害；3、虚拟磁盘vmdk延时较大；故障分析：这种问题基本都是由于虚拟机没有足够的IOPerSecond（IOPS），或者IOPS低于30；解决方案：在解决问题前，首先要解决以下两个问题：问题1：什么是IOPS？IOPS全称为Input/OutputPerSecond，它是衡量一个磁盘（虚拟磁盘和物理磁盘）、存储的基本也是十分重要的标准。不同的磁盘、存储有着不同的IOPS。IOPS的高低直接会影响着系统的性能。当前，VMware虚拟化环境中最大的瓶颈也就在于这个IOPS。针对数据密集型业务的数据库业务和流媒体业务，由于它们的IOPS很大，所以在虚拟化环境中部署它们一定要充分考量它们的负载，也就是IOPS大小，结合实际的存储性能来查看是否符合业务标准。问题2：如何计算IOPS？如何计算每台虚拟机的IOPS？要想计算每个虚拟机的总的IOPS数量，首先就要确认磁盘类型以及它们的IOPS是多少。处于RAID阵列里面的每个盘的IO有利于增长整体存储的可用IOPS。而位于这个存储上面的单台虚拟机的IOPS，则可以通过将这个存储的总IOPS除掉虚拟机数量即可基本得到单台虚拟机的IOPS。现实案例：假定有6颗10000RPM的磁盘，那么它们的总的可用IOPS大约为150x6=900。如果LUN上面运行的虚拟机数量为50个，则单台虚拟机的IOPS为900/50=18IOPS。如果以这个为标准，则意味着虚拟机的性能相对底下。如果想要满足虚拟机的基本IOPS需求，那么应该为900/30=30，也就是说同一个Volume里IOPS为30（最低要求）虚拟机需要数量控制在30台以下。备注：备份存储会消耗更多的IOPS，同时也会给Volume带来更多额外的符合。如果是这样，则需要用额外手段解决备份时的额外资源消耗（可以通过I/Ometer软件来测试IOPS）34、丢失或锁定文档导致虚拟机无法PowerOn故障状态：1、虚拟机无法开启；2、尝试开启虚拟机时，看到类似如下错误信息：•UnabletoopenSwapFile；•Unabletoaccessafilesinceitislocked；•UnabletoaccessVirtualmachineconfiguration；3、在/var/log/vmkernel文件里可以看到类似如下信息：WARNING:World:VMxxxx:xxx:FailedtoopenswapfilepathockwasnotfreeWARNING:World:VMxxxx:xxx:Failedtoinitializeswapfilepath4、当尝试开启虚拟机的console控制台时，可能会收到如下错误信息：Errorconnectingtopathvirtualmachine.vmxbecausetheVMXisnotstarted5、在开启虚拟机时，卡在95%位置无响应；6、从模板部署一台新的VM之后无法开启虚拟机；7、虚拟机在vCenterServer和ESXi/ESX主机之间报告控制台电源状态冲突；故障分析：导致这个问题的因素可能很多，但是众多问题中，都穿插或包含着文件损坏或文件被锁定等问题的可能。虚拟机常用的文件包括：•*.vswp•*-flat.vmdk•*-delta.vmdk•*.vmx•*.log解决方案：首先需要确认哪些文件处于锁定状态：1、利用vSphereClient登录ESXi/ESX主机、vCenterServer主机；2、在Datastore里找到想要开启但是无法开启的虚拟机所在位置；3、尝试开启虚拟机，如果无法开启且console显示错误，先查阅vmware.log日志文件的相关信息来确认问题；4、利用SSH或COS选用root权限登录到ESXi/ESX主机之后执行下面的命令查看虚拟机的完整路径：#vmware-cmd-l系统将输出类似如下信息来显示注册到ESXi/ESX主机的虚拟机：/vmfs/volumes/UUID/虚拟机目录/虚拟机名.vmx5、执行下列命令切入到这个虚拟机所在的目录：#cd/vmfs/voluems/UUID/虚拟机目录6、然后查阅vmware.log日志，在文件的尾部查看什么原因导致这个问题后再针对性的分析。准确定位并删除掉锁定文件由于虚拟机可以在主机之间移动，如果虚拟机注册到的主机保持对文件的锁定状态，那么，这个