Linux_集群技术

Version2.0Linux集群Page2/47目前，越来越多的网站采用Linux操作系统，提供邮件、Web、文件存储、数据库等服务。也有非常多的公司在企业内部网中利用Linux服务器提供这些服务。随着人们对Linux服务器依赖的加深，对其可靠性、负载能力和计算能力也倍加关注。Linux集群技术应运而生。Linux竞争力很强的原因之一，是它可以运行于极为普及的PC机上，不需要购买昂贵的专用硬件设备。在几台运行Linux的PC机上，只要加入相应的集群软件，就可以组成具有超强可靠性、负载能力和计算能力的Linux集群。集群中的每台服务器称为一个节点。Page3/47集群，是一组独立的计算机系统构成一个松耦合的多处理器系统，它们之间通过网络实现进程间的通信。应用程序可以通过网络共享内存进行消息传送，实现分布式计算机。集群的工作方式类似于人们之间的协同工作。简单的说，集群（cluster）就是一组计算机，它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点（node）。一个理想的集群是，用户从来不会意识到集群系统底层的节点，在他/她们看来，集群是一个系统，而非多个计算机系统。并且集群系统的管理员可以随意增加和删改集群系统的节点。Page4/47集群技术应用1)防火墙集群2)交换机、路由器集群3)服务器集群Web集群数据库集群Page5/47按照侧重点的不同，可以把Linux集群分为三类。一类是高可用性集群，运行于两个或多个节点上，目的是在系统出现某些故障的情况下，仍能继续对外提供服务。高可用性集群的设计思想就是要最大限度地减少服务中断时间。这类集群中比较著名的有TurbolinuxTurboHA、Heartbeat、Kimberlite等。第二类是负载均衡集群，目的是提供和节点个数成正比的负载能力，这种集群很适合提供大访问量的Web服务。负载均衡集群往往也具有一定的高可用性特点。TurbolinuxClusterServer、LinuxVirtualServer都属于负载均衡集群。第三类是超级计算集群，按照计算关联程度的不同，又可以分为两种。一种是任务片方式，要把计算任务分成任务片，再把任务片分配给各节点，在各节点上分别计算后再把结果汇总，生成最终计算结果。另一种是并行计算方式，节点之间在计算过程中大量地交换数据，可以进行具有强耦合关系的计算。这两种超级计算集群分别适用于不同类型的数据处理工作。有了超级计算集群软件，企业利用若干台PC机就可以完成通常只有超级计算机才能完成的计算任务。这类软件有TurbolinuxEnFusion、SCore等。Page6/47高可用性集群与负载均衡集群的工作原理不同，适用于不同类型的服务。通常，负载均衡集群适用于提供静态数据的服务，如HTTP服务；而高可用性集群既适用于提供静态数据的服务，如HTTP服务，又适用于提供动态数据的服务，如数据库等，比如oracleRac集群技术。高可用性集群之所以能适用于提供动态数据的服务，是由于节点共享同一存储介质，如RAIDBox。也就是说，在高可用性集群内，每种服务的用户数据只有一份，存储在共用存储设备上，在任一时刻只有一个节点能读写这份数据。Page7/47在目前实际使用中，最为常用的是DR方式，因此这里只说明DR(DirectRouting)方式的LVS负载平衡。如下图所示：1)Internet客户端请求网站，首先通过前端的LinuxDirector服务器(LVS主控机)，由主控机通过本地路由表，结合表中的调度算法，选择后端的某一台Realserver(真实机)，返回给客户端。如果主控机器在调用后端真实机之前，通常会对被调用的真实机做健康检查(比如通过ping等)，一旦后端的某一台机器出现故障，主控机会把故障机器从本地路由表中删除，然后选择新的真实机器，返回给客户端的请求服务。2)LinuxDirector即主控机在实际使用的时候，确保服务的不间断运行，需加备控机，一旦主控机停止服务，通过心跳启动备控机，使客户端正常服务请求。负载均衡集群Page8/47Page9/47Page10/47Web集群LVS安装配置步骤1.安装ipvsadm下载地址：注意对应自己的内核版本#tarzxvfipvsadm-1.24.tar.gz#cdipvsadm-1.24#ln-s/usr/src/kernels/2.6.9-5.EL-i686/usr/src/linux#make#makeinstallPage11/47Web集群LVS安装配置步骤2.配置IP和路由：Ifconfigeth0:0192.168.100.254netmask255.255.255.255routeadd–host192.168.100.254deveth0:0Page12/47Web集群LVS安装配置步骤3.配置DR模式Lvs集群创建ipvsadm配置文件内容如下：Vi/etc/sysconfig/ipvsadmPage13/47Web集群LVS安装配置步骤4.启动并查看Page14/47Web集群LVS安装配置步骤5.配置真实主机ifconfiglo:0192.168.100.254netmask255.255.255.255routeadd–host192.168.100.254devlo:0Page15/47Web集群LVS安装配置步骤5.配置真实主机(续)在/etc/sysctl.conf中加入如下语句，作用是是为了关闭ARP广播响应Page16/47Web集群LVS安装配置步骤5.配置真实主机(续)启动网页服务，并创建index.html测试Page17/471)配置高可用性（heartbeat)(1)安装libnetlibnet.tar下载地址：稳定版本是：1.1.2.1(最好用此版本)heartbeat-2.0.2.tar.gz下载地址：安装tar-zxvflibnet.tar.gzcdlibnet./configuremakemakeinstall安装高可用集群HAPage18/47(2)安装heartbeat添加用户和组groupadd-g694haclientuseradd-u694-ghaclienthaclustertarzxfheartbeat-2.0.2.tar.gzcdheartbeat-1.99.4./ConfigureMeconfiguremakemakeinstallcpdoc/ha.cfdoc/haresourcesdoc/authkeysldirectord/ldirectord.cf/etc/ha.d/安装高可用集群HA(续)Page19/47(4)配置主文件(/etc/ha.d/ha.cf)logfile/var/log/ha-log#指名heartbeat的日志存放位置logfacilitylocal0keepalive2#指明心跳时间为2秒（即每两秒钟在eth1上发送一次广播）。deadtime30#指定在30秒内没有心跳信号，则立即切换服务。warntime10#指明心跳延迟的时间为十秒。当10秒钟内备份机不能联系上主机(当前活动的服务器，即无心跳信号)，就会往日志中写入一个警告日志，但此时不会切换服务。initdead120#在有些系统上，系统启动后要过一段时间网络才正常工作，这个是时间来解决这种情况产生的时间间隔，此值到少是deadtime的两倍。udpport694#使用端口694作为广播和单播连接的端口.配置HA（主配置文件）Page20/47配置HA（主配置文件）（续）ucasteth1172.16.0.2(对端eth1上的IP)#指明心跳方式使用单播方式，并且是在eth1接口上进行。auto_failbackon#当主节点恢复后，是否自动切回nodetest1.sun.com#主控机host名nodetest2.sun.com#备用机host名#默认heartbeat并不检测除本身之外的其他任何服务，也不检测网络状况，所以当网络中断时，并不会进行LoadBalancer和Backup之间的切换，可以通过ipfail插件，设置‘pingnodes’来解决这一问题ping_groupgroup1172.16.0.1172.16.0.2#一般主控机IP放到备份机IP之前respawnroot/usr/lib/heartbeat/ipfailapiauthipfailgid=rootuid=rootPage21/47(5)资源文件(/etc/ha.d/haresources)：test1.sun.com192.168.100.254ipvsadmldirectord#设置test1.sun.com为主节点，集群服务器的ip地址为192.168.100.254集群的服务有ipvsadmldirectord(6)认证文件(/etc/ha.d/authkeys)，选取一种认证方式，这个文件的权限必须是600auth11crc#2sha1sha1_any_password#3md5md5_any_password配置HA（管理的资源及认证）Page22/47(7)分别修改两台主机文件(/etc/hosts)添加如下两行记录192.168.100.1test1.sun.comtest1192.168.100.2test2.sun.comtest2解析主机名Page23/47(9)配置LdirectordLdirectord的作用是监测RealServer，当RealServer失效时，把它从LoadBalancer列表中删除，恢复时重新添加，在安装heartbeat时已经安装了Ldirectord。配置(/etc/ha.d/ldirectord.cf)：checktimeout=3checkinterval=1fallback=127.0.0.1:80autoreload=yes#logfile=/var/log/ldirectord.log#logfile=local0quiescent=yes配置LdirectordPage24/47#Asamplevirualwithafallbackthatwilloverridethegobalsettingchecktimeout=3checkinterval=1#fallback=127.0.0.1:80autoreload=yes#logfile=/var/log/ldirectord.log#logfile=local0quiescent=yesvirtual=192.168.100.254:80real=192.168.100.3:80gate1real=192.168.100.4:80gate1#fallback=127.0.0.1:80gateservice=http#request=index.html#receive=TestPage#virtualhost=some.domain.com.auscheduler=wlc#persistent=600#netmask=255.255.255.255protocol=tcp配置Ldirectord(续)Page25/47启动HA服务并测试（12）启动服务Serviceheartbeatstart关闭主节点机器，另一台自动接管，主节点恢复后自动收回服务。（13）测试：[root@lvs1~]#ipvsadmIPVirtualServerversion1.2.0(size=4096)ProtLocalAddr