理解 OpenStack 高可用（HA）（4）：RabbitMQ 和 Mysql HA

1. 为 RabbitMQ 配置一个 DRBD 设备

2. 配置 RabbitMQ 使用建立在 DRBD 设备之上的数据目录

3. 选择并绑定一个可以在各集群节点之间迁移的虚拟 IP 地址 （即 VIP ）

4. 配置 RabbitMQ 监听该 IP 地址

5. 使用 Pacemaker 管理上述所有资源，包括 RabbitMQ 守护进程本身

2.2.1 安装 Corosync 和 Pacemaker

本配置使用两个节点。

首先，在两个节点上安装软件包：apt-get install pacemaker crmsh corosync cluster-glue resource-agents，并配置 Corosync，设它为 boot 自启动：vi /etc/default/corosync，START=yes。

两个节点上，

（1）修改配置文件：vim /etc/corosync/corosync.conf

totem {  #...  interface {   ringnumber: 0   bindnetaddr: #节点1上，192.168.1.15；节点2上，192.168.1.32   broadcast: yes   mcastport: 5405  }  transport: udpu } nodelist {  node {   ring0_addr: 192.168.1.15   nodeid: 1  }  node {   ring0_addr: 192.168.1.32   nodeid: 2  } } 

（2）启动服务 service corosync start

（3）查看状态

root@compute2:/home/s1# corosync-cfgtool -s

（4）启动 pacemaker：service pacemaker start

（5）查看 pacemaker 状态：crm_mon

Last updated: Sun Aug 16 15:59:10 2015 Last change: Sun Aug 16 15:58:59 2015 via crmd on compute1 Stack: corosync Current DC: compute1 (1) - partition with quorum Version: 1.1.10-42f2063 3 Nodes configured 0 Resources configured  Node compute1 (1084752143): UNCLEAN (offline) Online: [ compute1 compute2 ]

（6）配置 pacemaker

root@compute2:/home/s1# crm crm(live)# configure crm(live)configure# property no-quorum-policy="ignore" / #因为这里只有两个节点，因此需要设置为 ‘ignore’。两个节点以上，不可以设置为 ‘ignore’ >   pe-warn-series-max="1000" / >   pe-input-series-max="1000" / >   pe-error-series-max="1000" / >   cluster-recheck-interval="2min" crm(live)configure# quit There are changes pending. Do you want to commit them? yes bye

2.2.1 为 RabbitMQ 配置一个 DRBD 设备

在 node1 和 node2 上，依次进行：

（0）安装 DRBD，并设置机器启动时 DRBD 服务不自动启动。该服务的启停升降机等都需要由 Pacemaker 控制。

（1）添加一个 1G 的 hard disk，fdiskl -l 可见 /dev/sdb

（2）创建 LVM：pvcreate /dev/sdb，vgcreate vg_rabbit /dev/sdb，lvcreate -L1000 -n rabbit vg_rabbit。创建好的 LVM 为 /dev/mapper/vg_rabbit-rabbit。

（3）定义 rabbitmq 资源：vi /etc/drbd.d/rabbitmq.res

根据 /etc/drbd.conf，资源的配置文件需要放置在 /etc/drbd.d/ 目录中，并以 res 为文件类型。DRBD 会自动读取这些配置文件并创建相应的资源。

rource rabbitmq {   device    minor 1;               # DRBD device 是 /dev/drbd1，相当于 device /dev/drbd1   disk      "/dev/mapper/vg_rabbit-rabbit"; # Raw device, 本例中是 LVM path。也可以使用不同名字的 Raw device，这样的话需要放到 host 定义部分。   meta-disk internal;               # 这是默认值，更多信息可以参考这个   on compute1 {                     # 节点1，名称需要与 uname -n 的输出相同。     address ipv4 192.168.1.15:7701; #7701 是 DRBD 通信的 TCP 端口，需要确保该端口可以被访问   }   on compute2 {                     # 节点2     address ipv4 192.168.1.32:7701;   } }

（4）drbdadm create-md rabbitmq

root@compute2:/home/s1# drbdadm create-md rabbitmq Writing meta data... initializing activity log NOT initializing bitmap New drbd meta data block successfully created.

（5）drbdadm up rabbitmq

在 compute 2 上，
（1）drbdadm -- --force primary rabbitmq
（2）mkfs -t xfs /dev/drbd1 （如果提示 mkfs.xsf 找不到，则 sudo apt-get install xfsprogs）

meta-data=/dev/drbd1             isize=256    agcount=4, agsize=63996 blks          =                       sectsz=512   attr=2, projid32bit=0 data     =                       bsize=4096   blocks=255983, imaxpct=25          =                       sunit=0      swidth=0 blks naming   =version 2              bsize=4096   ascii-ci=0 log      =internal log           bsize=4096   blocks=1200, version=2          =                       sectsz=512   sunit=0 blks, lazy-count=1 realtime =none                   extsz=4096   blocks=0, rtextents=0

（3）mount /dev/drbd1 /var/lib/rabbitmq

（4）umount /var/lib/rabbitmq

（3）drbdadm secondary rabbitmq

在 compute 1 上：

1. drbdadm -- --force primary rabbitmq
2. mkfs -t xfs /dev/drbd1
3. mount /dev/drbd1 /var/lib/rabbitmq

至此，DRBD 设置完成，目前 compute 1 上的 DRBD 是主，compute 2 上的是备。查看其状态：

root@compute1:/home/s1# /etc/init.d/drbd status drbd driver loaded OK; device status: version: 8.4.3 (api:1/proto:86-101) srcversion: 6551AD2C98F533733BE558C m:res       cs         ro                 ds                 p  mounted            fstype 1:rabbitmq  Connected  Primary/Secondary  UpToDate/UpToDate  C  /var/lib/rabbitmq  xfs  root@compute2:/home/s1# /etc/init.d/drbd status drbd driver loaded OK; device status: version: 8.4.3 (api:1/proto:86-101) srcversion: 6551AD2C98F533733BE558C m:res       cs         ro                 ds                 p  mounted  fstype 1:rabbitmq  Connected  Secondary/Primary  UpToDate/UpToDate  C

调试时遇到一个脑裂问题，就是两个node上 drbd 的状态都是 StandAlone，然后 DRBD 服务在 compute 2 上能起来，在 compute 1 上起不来。

root@compute1:/home/s1# /etc/init.d/drbd status drbd driver loaded OK; device status: version: 8.4.3 (api:1/proto:86-101) srcversion: 6551AD2C98F533733BE558C m:res       cs          ro                 ds                 p       mounted  fstype 1:rabbitmq  StandAlone  Secondary/Unknown  UpToDate/DUnknown  r-----  DRBD's startup script waits for the peer node(s) to appear.  - In case this node was already a degraded cluster before the    reboot the timeout is 0 seconds. [degr-wfc-timeout]  - If the peer was available before the reboot the timeout will    expire after 0 seconds. [wfc-timeout]    (These values are for resource 'rabbitmq'; 0 sec -> wait forever)  To abort waiting enter 'yes' [ 148]:

这篇文章 和 这篇文章 给出了这个问题的解决办法：

• 在起不来 DRBD 服务的节点（compute1）上，运行  drbdadm disconnect rabbitmq， drbdadm secondary rabbitmq，和 drbdadm --discard-my-data connect rabbitmq
• 在能起来 DRBD 服务的节点（compute2）上，运行 drbdadm connect rabbitmq
• 然后 DRBD 状态恢复成 Connected 了。

SUSE 有关于 DRBD 安装、配置和测试的 不错的文档 。

2.22 安装和配置 RabbitMQ

（1）在两个节点上安装 RabbitMQ。rabbitmq-server 进程会在 rabbitmq 组内的 rabbitmq 用户下运行。

（2）确保 rabbitmq 组和用户在两个节点上具有相同的 ID。运行 cat /etc/passwd | grep rabbitmq 和 cat /etc/group | grep rabbitmq 查看 ID，必要时进行修改。

（3）确保 rabbitmq 用户对 /var/lib/rabbitmq/ 有读写权限。 运行 chmod a+w /var/lib/rabbitmq/。

（4）确保各节点都使用相同的 Erlang cookie。需要将 compute 1 上的 RabbitMQ cookie 拷贝到 compute 2 上：

（1）compute 1：scp /var/lib/rabbitmq/.erlang.cookie s1@compute2:/home/s1
（2）compute 2：mv .erlang.cookie /var/lib/rabbitmq/
（3）compute 2：chown rabbitmq: /var/lib/rabbitmq/.erlang.cookie
（4）compute 2：chmod 400 /var/lib/rabbitmq/.erlang.cookie
（5）再执行相同的步骤，将该文件拷贝到 DRBD 共享存储文件系统中

（5）确保计算机启动时不自动启动 rabbitmq。修改 /etc/init.d/rabbitmq-server 文件，在文件头注释后面添加 exit 0.

2.2.3 在 Pacemaker 中添加 RabbitMQ 资源

在添加前， 在 compute 1 节点上，运行 crm configure，输入：

primitive p_ip_rabbitmq ocf:heartbeat:IPaddr2 /  #定义访问 RabbitMQ 的 VIP。使用 RA ocf:heartbeat:IPaddr2。对该 VIP 的监控间隔为 10s。   params ip="192.168.1.222" cidr_netmask="24" /   op monitor interval="10s" primitive p_drbd_rabbitmq ocf:linbit:drbd / #定义RabbitMQ 的 DRBD 资源，pacemaker 会对它 start，stop，promote，demote 和 monitor。   params drbd_resource="rabbitmq" /   op start timeout="90s" / #启动的超时时间   op stop timeout="180s" /   op promote timeout="180s" /   op demote timeout="180s" /   op monitor interval="30s" role="Slave" / #对 Slave drbd 的监控间隔定义为 30s   op monitor interval="29s" role="Master"  #对 master drbd 的监控间隔定义为 29s primitive p_fs_rabbitmq ocf:heartbeat:Filesystem / # 在 /dev/drbd1 上创建 xfs 文件系统，并 mount 到 /var/lib/rabbitmq   params device="/dev/drbd1" directory="/var/lib/rabbitmq" fstype="xfs" options="relatime" /   op start timeout="60s" op stop timeout="180s" op monitor interval="60s" timeout="60s" primitive p_rabbitmq ocf:rabbitmq:rabbitmq-server / #定义 RabbitMQ 资源   params nodename="rabbit@localhost" /     mnesia_base="/var/lib/rabbitmq" /   op monitor interval="20s" timeout="10s" group g_rabbitmq p_ip_rabbitmq p_fs_rabbitmq p_rabbitmq #group 指定一组资源需要在同一个node上 ip -> fs -> rabbitmq，顺序启动，逆序停止 ms ms_drbd_rabbitmq p_drbd_rabbitmq meta notify="true" master-max="1" clone-max="2" # 定义一个资源集合，往往用于 master-slave 资源集群。其中，clone-max 定义集合内的 drbd 节点数目，master-max 指定 master 最多只能有一个；notify = “true” 表示启用notification。 colocation c_rabbitmq_on_drbd inf: g_rabbitmq ms_drbd_rabbitmq:Master #colocation 定义在同一个节点上启动的资源。这里定义了一个约束，rabbitmq 只能在 DRBD Master 节点上启动 order o_drbd_before_rabbitmq inf: ms_drbd_rabbitmq:promote g_rabbitmq:start #oder 指定服务启动顺序。这个定义要求先 DRBD 升级为 Master 然后依次执行 ip，fs 和 rabbitmq 启动。

更多的 Pacemaker 配置细节，请参考 这个文档 。

Pacemaker 一些有用的命令：

• crm status：显示集群状态
• crm configure show：显示集群配置
• crm configure edit：修改集群配置
• crm node standby：将当前节点设为备节点
• crm node online：将当前节点设为主节点
• crm ra meta ocf:heartbeat:IPaddr2：查看 RA 的 metadata

配置完成后，RabbitMQ 起不来。一堆问题，挨个来说：

（1）Corosync 调试：设置日志文件

logging {         fileline: off         to_stderr: yes         to_logfile: yes         to_syslog: yes         logfile: /var/log/cluster/corosync.log         syslog_facility: daemon         debug: off         timestamp: on                 }

（2）pacemaker 调试：pacemaker 的日志在 corosync 的 log file 中。

（3）运行 crm status，如果出现  Could not establish cib_ro connection: Connection refused (111) ，原因是 pacemaker 服务没有启动。运行 service pacemaker start 即可。

（4）rabbitmq 启动的错误日志可以在 /var/log/rabbitmq 目录下找到。可能的错误之一是，rabbit 用户没有目录 /var/lib/rabbitmq 的写权限。

成功后，是这样的效果：

root@compute2:/var/lib/rabbitmq/rabbit@localhost# crm status Last updated: Mon Aug 17 00:16:11 2015 Last change: Sun Aug 16 22:54:27 2015 via cibadmin on compute1 Stack: corosync Current DC: compute1 (1) - partition with quorum Version: 1.1.10-42f2063 3 Nodes configured 5 Resources configured Online: [ compute1 compute2 ] # pacemaker 集群中有两个节点 OFFLINE: [ compute1 ]   # compute 1 是备节点  Resource Group: g_rabbitmq   p_ip_rabbitmq   (ocf::heartbeat:IPaddr2):    Started compute2 #在 compute 2 上启动 VIP，成功   p_rabbitmq (ocf::rabbitmq:rabbitmq-server):  Started compute2 #在 compute 2 上启动 rabbitmq，成功  Master/Slave Set: ms_drbd_rabbitmq [p_drbd_rabbitmq]   Masters: [ compute2 ]   Slaves: [ compute1 ]  p_fs_rabbitmq  (ocf::heartbeat:Filesystem): Started compute2 # 在 compute 2 上设置 drbd 文件系统，成功 

可见，根据配置，pacemaker 会（1）根据 corosync 确定集群中的节点和状态 （2）启动 VIP （3）启动指定的服务 （4）设置 DRBD 文件系统。每一步都可能失败，失败则需要调试。

（5）将主节点停机，rabbitmq 服务顺利地被切换到备节点上。