HACMP第一部分_规划篇

第一部分--规划篇万事开头难，对于一个有经验的HACMP工程师来说，会深知规划的重要性，一个错误或混乱的规划将直接导致实施的失败和不可维护性。HACMP实施的根本目的不是安装测试通过，而是在今后运行的某个时刻突然故障中，能顺利的发生自动切换或处理，使得服务只是短暂中断即可自动恢复，使高可用性成为现实。2.1.规划前的需求调研在做规划之前，或者说一个准备实施HACMP来保证高可用性的系统初步设计之前，至少需要调查了解系统的以下相关情况，这些都可能影响到HACMP的配置。应用特点1）对负荷的需求，如CPU、内存、网络等特别是I/O的负载的侧重。2）对起停的要求，如数据库重起可能需要应用重起等等。3）对于自动化的限制，如重起需要人工判断或得到命令，需要在控制台执行。网络状况和规划包括网段的划分、路由、网络设备的冗余等等在系统上线前的状况和可提供条件，以及实施运行过程中可能出现的变更。操作系统情况目前IBM的HACMP除了AIX，还支持Linux。目前新装机器都是AIX5.3，即使安装HA5.4也没有问题。但如果安装可能是在老机器上进行升级，需要仔细了解操作系统版本及补丁情况。主机设计1）可能实施的机器网卡的数量,网卡是否只能是双口或更多。2）是否有槽位增加异步卡3）主机之间的距离，这影响到串口线的长度。预计实施高可用性的情况1）希望实施HACMP的机器数量2）希望方式，如一备一，双机互备，一备多，环形互备等等。2.2.PowerHA/HACMP版本确定IBMHACMP自从出了5.2版本后，到了5.205后比较稳定，并经过我们自己充分的测试（见测试篇）和实践证明（已有多个系统成功自动切换）。之前个人觉得HACMP5.3后变化较快快，功能增加多，稳定性不够，相当长时间还是一直推荐HA5.209。这也是本文出了第一版完全手册之后一直没有修订的原因之一。随着Power主机和AIX的更新换代，名称也在变化，虽然目前最新版为PowerHASystemMirror7.1,又增加了不少绚丽夺目的功能，但个人以为作为高可用性软件，其成熟度为第一要素，其稳定性有待进一步验证。而经过我们这2年来的充分实施经验，目前可以放心推荐版本为PowerHA6.1的6.1.10及以上。2.3.IP地址设计IP地址切换(IPAT)方式有3种方式:图1a，1b，和1c中描述了三个主要的IPAT配置场景。第一个拓扑模式:IPATviaReplacement在分开的子网中包含boot和standby网卡。当集群服务启动的时候boot地址被换成service地址。尽管这种方式有效性强，但是在需要实现多服务IP地址的环境下这种方式是不可取的。集群的管理员不得不利用pre-和post-events定制其环境建立额外的别名，并且需要确认这些别名在下一次接管发生前被删除。IPATviaReplacement示意图第二个拓扑模式：IPATviaAliasingHACMP4.5开始引入了IPATviaAliasing作为缺省的拓扑模式。在这种新的模式中，standby网卡的功能被另外一个boot网卡替换。子网需求的不同点是还需要一个另外的子网，每一个boot网卡需要它自己的子网，并且任何service或persistent的IP将在其本身的子网上操作，所以一共三个子网。当集群服务启动并且需要serviceIP的时候，bootIP并不消失。这个设计和第一种是不同的，在同一个HACMP网络中有多个serviceIP存在并且通过别名来控制。IPATviaAliasing示意图第三种模式:EthernetChannel（EC）这种模式把底层的以太网卡藏到一个单一的“ent”接口之后。该模式不是对前述任何一种方式的替换，而是可以和前述的任一种模式共同存在。因为在每一个节点EC都被配置成冗余方式，可以在HACMP中使用IP别名定义它们每一个作为单一网卡网络。因为在每个节点只有一个网卡被定义，所以只有两个子网，一个是用作boot（每个节点的基本IP地址），另一个是用于提供高可用服务。IPATviaEthernetChannel示意图本文讨论实际工作中使用最多的为第2种:别名方式(IPATviaAliasing)，即使到今天，其使用仍然最为广泛，对交换机要求也最低。对于新型核心交换机和网络人员可紧密配合的，则推荐第3种，由于第3种更为简单，切换时间更短。但本文这里以第2种为主加以讨论。这样设计时就需要注意以下事情：1.网段设计：一个服务地址需要3个网段对应，boot地址网段不能和服务地址一致。避免网络变更造成的系统不可用，boot地址的网段不要和实际其他系统的网段一致。在网段比较紧张的地方，建议设计时询问网络人员。举例来说，下面的地址将会由于网络变更后打通合一后可能造成冲突：设计人机器名服务地址boot1地址boot2地址张三app1_db10.66.1.110.10.1.110.10.1.1张三app1_app10.66.1.210.10.2.210.10.2.2李四app2_db10.66.2.110.66.3.110.66.1.1李四app2_app10.66.2.210.66.3.210.10.1.2王五app3_db10.66.3.110.66.1.110.66.2.1王五app3_app10.66.3.210.66.1.210.10.2.22.boot地址的设计：不要和实际其他同网段机器的boot地址冲突，最好不同网段。即这个规划不能只考虑系统本身，还需要从同网段的高度考虑。举例来说，下面的地址由于2个系统分开设计，同时开启将直接导致2个系统不可用。boot地址的设计表1设计人机器名服务地址boot1地址boot2地址张三app1_db10.66.3.110.10.1.110.10.1.1张三app1_app10.66.3.210.10.1.210.10.1.2李四app2_db10.66.3.1110.10.1.110.10.1.1李四app2_app10.66.3.1210.10.1.210.10.1.2所以在设计时，我们建议boot地址的IP地址最后一段参照服务地址，这样虽然可记忆性不是很好，但即使设计在同一网段，也可以避免上述错误发生。更改设计如下：boot地址的设计表2设计人机器名服务地址boot1地址boot2地址张三app1_db10.66.3.110.10.1.110.10.1.1张三app1_app10.66.3.210.10.1.210.10.1.2李四app2_db10.66.3.1110.10.1.1110.10.1.11李四app2_app10.66.3.1210.10.1.1210.10.1.12此外，如果是每个网卡多个网口，记得设计时必须注意同一网络的boot地址要分开到2块网卡，以保证真正的冗余。2.4.心跳设计配置HACMP的过程中，除了TCP/IP网络之外，您也可以在其它形式的网络上，如串行网络和磁盘总线上配置心跳网络。1.TCP/IP网络优点：要求低，不需要任何额外硬件或软件，即可实现。缺点：占用IP地址，不能避免由于TCP/IP的软件问题导致HACMP崩溃，系统不可用。2.串口网络优点：真正实现高可用性，不占用IP地址。缺点：需要硬件支持，需要新增异步卡，而中低端的机器的插槽有限。3.磁盘心跳优点:不占用插槽，磁盘总线上的心跳网络能够在TCP/IP网络资源有限的情况下提供额外的HACMP节点间的通信手段，并且能够防止HACMP节点之间由于TCP/IP软件出现问题而无法相互通信。缺点：需要操作系统和存储支持，如使用增强型卷组，此外对于I/O读写负荷高的应用，也需要慎用。正如IBM红皮书所说，条件许可的情况下，强烈推荐使用串口网络，其次是磁盘心跳。不过我们也注意到HACMP7.1将不再支持串口心跳，而改为其他如SAN方式，效果有待进一步观察。2.5.资源组设计对于HACMP来讲，服务IP地址和磁盘VG、文件系统、应用服务器都是资源，如何规划需要根据实际情况来，包括以下内容：资源组的数量即资源：一般情况下每台机器只要建立一个资源组即可，包括服务IP地址、应用服务器及VG。现在不推荐具体确定VG里的文件系统，这是因为确定后，有可能造成有些新增文件系统不在HACMP的控制范围，结果是HACMP切换时由于这些文件系统没有unmount掉而导致切换失败。资源组的策略:分failover(故障切换)和fallback（回切）等。一般选缺省，当然你可以根据具体情况修正，如oracle10gRAC的并发VG资源组的选择就不一样。2.5.1.磁盘及VG设计虽然实际上HACMP是靠PVID来认磁盘的，但集群的机器上磁盘顺序不一，磁盘对应不一致会造成某种混乱。以致于安装配置和维护时很容易产生各种人为错误，所以我们强烈建议机器上看到的磁盘和VG名称都一一对应，此外VG的MajorNumber也需要预先设计规划，以免不一致。同时新的AIX6.1已很好提供了修改hdisk号的rendev命令，以前这样的烦恼也就迎刃而解了。2.5.2.用户及组设计HA要求所有切换需要用到的用户必须所有节点对应，ID完全相同，用户运行的环境变量完全相同，即当系统切换时，对使用该用户的程序用户即组设置没有区别的。如某系统的host2上oracle用户为orarun，host1上的orarun必须为切换保留，ID均为209，host1上平时用的oracle用户就设为orarunc。2.5.3.逻辑卷和文件系统设计HACMP要求切换相关的文件系统和lv不能重名，如host2上oracle软件目录为/ora11run，host1上的/ora11run必须为切换保留，改为/ora11runc。此外，集群下相关的文件系统和lv，在各个节点主机的定义也需要一致,如/etc/filesystems里是一致的，这个通过importvg或HACMP的C-SPOC来保证。2.5.4.路由设计对于有通信需求的主机，很可能对路由有一定要求，如本次实验环境，就有2个网段走的不是缺省路由，需要设计清楚，最后在起停脚本实现。2.5.5.应用脚本设计我们这里说的应用，是包括数据库在内除OS和HACMP之外的所有程序，对于应用程序的起停顺序和各种要求，都需要预先和应用人员加以沟通，并预先设计伪码，最终编写脚本实现。