Nginx+MySQL双机互备、全自动切换方案

Nginx+MySQL双机互备、全自动切换方案在生产应用中，某台“Nginx+MySQL”接口数据服务器，扮演的角色十分重要，如果服务器硬件或Nginx、MySQL发生故障，而短时间内无法恢复，后果将非常严重。为了避免单点故障，我设计了此套方案，编写了failover.sh脚本，实现了双机互备、全自动切换，故障转移时间只需几十秒。一、双机互备、全自动切换方案：1、拓扑图：2、解释：(1)、假设外网域名blog.XXX.cc解析到外网虚拟IP10.0.0.100上，内网hosts设置db10对应内网虚拟IP192.168.150.100(2)、默认情况下，由主机绑定内、外网虚拟IP，备机作为备份，当主机的MySQL、Nginx或服务器出现故障无法访问时，备机会自动接管内、外网虚拟IP。两台服务器都启动负责监控、自动切换虚拟IP的守护进程/usr/bin/nohup/bin/sh/usr/local/webserver/failover/failover.sh2&1/dev/null&(3)、主机和备机上的MySQL服务器互为主从，互相同步。在主机处于活动状态（即由主机绑定虚拟IP）时，读写主机的MySQL，写到主机的数据会同步到备机；在备机处于活动状态时，读写备机的MySQL，写到备机的数据会同步到主机（如果主机上的MySQL死掉暂时无法同步，主机上的MySQL恢复后，数据会自动从备机上同步过来，反之亦然）。(4)、主机处于活动状态时，每20秒会把/data0/htdocs/（网页、程序、图片存放目录）、/usr/local/webserver/php/etc/（php.ini等配置文件目录）、/usr/local/webserver/nginx/conf/（Nginx配置文件目录）三个目录下的文件通过rsync推送到备机服务器上的对应目录（增量推送，两台服务器上一样的文件不会重复推送），反之如果备机处于活动状态时，每20秒会尝试把文件推送到主机。rsync的配置文件见两台服务器的/etc/rsyncd.conf，rsync守护进程的启动命令为rsync--daemon3、自动切换流程(1)、主机默认绑定内、外网虚拟IP，当主机的MySQL、Nginx无法访问或服务器宕机，主机上的failover.sh守护进程会自动摘除自己绑定的内、外网虚拟IP（如果主机上的failover.sh死掉，无法摘除自己绑定的虚拟IP也没关系），备机上的failover.sh守护进程会自动接管备机原来绑定的内、外网虚拟IP，并发送ARPing包给内、外网网关更新MAC，强行接管。(2)、备机绑定虚拟IP后，会发送ARPing包给内、外网网关，通知网关更新虚拟IP的MAC地址为备机的MAC地址，从而保证了切换后能够通过虚拟IP及时访问到备机。(3)、如果主机的MySQL、Nginx启动起来，全部恢复正常访问，主机上的failover.sh守护进程会检测主机上的MySQL数据是否已经完全从备机上同步过来。如果同步延迟时间为0，主机会自动接管内、外网虚拟IP，并发送ARPing包给内、外网网关，而备机也会自动摘除内、外网虚拟IP。(4)、整个切换流程均由failover.sh自动完成，无需人工处理。4、注意事项（很重要）：(1)、crontab里的文件没有做自动同步，如果修改，需要手工在两台服务器上都做修改。(2)、/data0/htdocs/目录内任何用ln-s建立的软连接，rsync不会自动同步，如果在一台服务器上建了软连接，需要手工在另外一台服务器上也建相同的软连接。(3)、如果要删除/data0/htdocs/目录内的某些文件或目录，需要先删除处于活动状态（即绑定了虚拟IP）服务器上的文件或目录，再删除处于备用状态服务器上的文件或目录。(4)、除了/data0/htdocs/（网页、程序、图片存放目录）、/usr/local/webserver/php/etc/（php.ini等配置文件目录）、/usr/local/webserver/nginx/conf/（Nginx配置文件目录）三个目录之外的其他配置修改，需要在两台服务器上都做修改。二、配置文档与脚本：1、主机、备机两台服务器的rsync配置（配置相同）(1)、rsync配置文件vi/etc/rsyncd.conf输入一些内容并保存：引用uid=rootgid=rootusechroot=nomaxconnections=20pidfile=/var/run/rsyncd.pidlockfile=/var/run/rsync.locklogfile=/var/log/rsyncd.log[data0_htdocs]path=/data0/htdocs/ignoreerrorsreadonly=nohostsallow=192.168.150.0/24hostsdeny=0.0.0.0/32[php_etc]path=/usr/local/webserver/php/etc/ignoreerrorsreadonly=nohostsallow=192.168.150.0/24hostsdeny=0.0.0.0/32[nginx_conf]path=/usr/local/webserver/nginx/conf/ignoreerrorsreadonly=nohostsallow=192.168.150.0/24hostsdeny=0.0.0.0/32(2)、启动rsync守护进程/usr/bin/rsync--daemon2、两台MySQL互为主从的配置这里就不详细写出互为主从的配置过程了，如果不懂的朋友可以在Google上搜一下。有一点需要指出，my.cnf配置文件中请加上skip-name-resolve参数，使用IP来进行MySQL帐号验证。3、主机、备机两台服务器负载监控、虚拟IP自动切换的failover.sh守护进程(1)、启动failover.sh守护进程（为了开机能够自动运行，请将以下语句添加到/etc/rc.local文件中）：/usr/bin/nohup/bin/sh/usr/local/webserver/failover/failover.sh2&1/dev/null&(2)、停止failover.sh守护进程：ps-ef|grepfailover.sh会显示以下信息：root1542810Nov17?00:00:03/bin/sh/usr/local/webserver/failover/failover.shroot201236878016:16pts/200:00:00grepfailover.sh然后杀死failover.sh的进程：kill-915428(3)、failover.sh代码内容（请注意其中的type设置，主机设为master，备机设为slave）：#!/bin/shLANG=Cdate=$(date-dtoday+%Y-%m-%d%H:%M:%S)#---------------配置信息(开始)---------------#类型：主机设为master，备机设为slavetype=master#主机、备机切换日志路径logfile=/var/log/failover.log#MySQL可执行文件地址，例如/usr/local/mysql/bin/mysql；MySQL用户名；密码；端口mysql_bin=/usr/local/webserver/mysql/bin/mysqlmysql_username=rootmysql_password=123456mysql_port=3306#内网网关gateway_eth0=192.168.150.2#主机内网真实IPrip_eth0_master=192.168.150.128#备机内网真实IPrip_eth0_slave=192.168.150.132#主机、备机内网共用的虚拟IPvip_eth0_share=192.168.150.100#外网网关gateway_eth1=10.0.0.2#主机外网真实IPrip_eth1_master=10.0.0.128#备机外网真实IPrip_eth1_slave=10.0.0.132#主机、备机外网共用的虚拟IPvip_eth1_share=10.0.0.100#---------------配置信息(结束)---------------#绑定内、外网虚拟IPfunction_bind_vip(){/sbin/ifconfigeth0:vip${vip_eth0_share}broadcast${vip_eth0_share}netmask255.255.255.255up/sbin/routeadd-host${vip_eth0_share}deveth0:vip/sbin/ifconfigeth1:vip${vip_eth1_share}broadcast${vip_eth1_share}netmask255.255.255.255up/sbin/routeadd-host${vip_eth1_share}deveth1:vip/usr/local/webserver/php/sbin/php-fpmreloadkill-USR1`cat/usr/local/webserver/nginx/logs/nginx.pid`/sbin/servicecrondstart}#解除内、外网虚拟IPfunction_remove_vip(){/sbin/ifconfigeth0:vip${vip_eth0_share}broadcast${vip_eth0_share}netmask255.255.255.255down/sbin/ifconfigeth1:vip${vip_eth1_share}broadcast${vip_eth1_share}netmask255.255.255.255down/sbin/servicecrondstop}#主机向备机推送文件的函数function_rsync_master_to_slave(){/usr/bin/rsync-zrtuog/data0/htdocs/${rip_eth0_slave}::data0_htdocs//dev/null2&1/usr/bin/rsync-zrtuog/usr/local/webserver/php/etc/${rip_eth0_slave}::php_etc//dev/null2&1/usr/bin/rsync-zrtuog/usr/local/webserver/nginx/conf/${rip_eth0_slave}::nginx_conf//dev/null2&1}#备机向主机推送文件的函数function_rsync_slave_to_master(){/usr/bin/rsync-zrtuog/data0/htdocs/${rip_eth0_master}::data0_htdocs//dev/null2&1/usr/bin/rsync-zrtuog/usr/local/webserver/php/etc/${rip_eth0_master}::php_etc//dev/null2&1/usr/bin/rsync-zrtuog/usr/local/webserver/nginx/conf/${rip_eth0_master}::nginx_conf//dev/null2&1}#虚拟IPARPingfunction_vip_arping(){/sbin/arping-Ieth0-c3-s${vip_eth0_share}${gateway_eth0}/dev/null2&1/sbin/arping-Ieth1-c3-s${vip_eth1_share}${gateway_eth1}/dev/null2&1}whiletru