centos7.3rabbitmq集群

RabbitMQ集群概述

在龙泉驿等地区，都构建了全面的区域性战略布局，加强发展的系统性、市场前瞻性、产品创新能力，以专注、极致的服务理念，为客户提供成都网站建设、成都做网站 网站设计制作定制网站,公司网站建设,企业网站建设,成都品牌网站建设,成都全网营销推广,成都外贸网站建设公司,龙泉驿网站建设费用合理。

     通过 Erlang 的分布式特性（通过 magic cookie 认证节点）进行 RabbitMQ 集群，各 RabbitMQ 服务为对等节点，即每个节点都提供服务给客户端连接，进行消息发送与接收。

     这些节点通过 RabbitMQ HA 队列（镜像队列）进行消息队列结构复制。本方案中搭建 3 个节点，并且都是磁盘节点（所有节点状态保持一致，节点完全对等），只要有任何一个节点能够工作，RabbitMQ 集群对外就能提供服务。

安装 Erlang、RabbitMQ

http://yanconggod.blog.51cto.com/1351649/1933009

修改 /etc/hosts

加入集群 3 个节点的对应关系：

10.0.0.231  node1

10.0.0.232  node2

10.0.0.233  node3

设置 Erlang Cookie

  RabbitMQ节点之间和命令行工具 (e.g. rabbitmqctl)是使用Cookie互通的，Cookie是一组随机的数字+字母的字符串。当RabbitMQ服务器启动的时候，Erlang VM会自动创建一个随机内容的Cookie文件。如果是通过yum源安装RabbitMQ的话，Erlang Cookie 文件在/var/lib/rabbitmq/.erlang.cookie。如果是通过源码安装的RabbitMQ，Erlang Cookie文件$HOME/.erlang.cookie。

本文演示的实例是用源码安装，由于这个文件权限是 400，所以需要先修改 node2、node3 中的该文件权限为 777：

node1：
yancongadmin@node1:~$ chmod 777 .erlang.cookie

node2：
yancongadmin@node2:~$ chmod 777 .erlang.cookie
yancongadmin@node2:~$ scp -r node1:/home/yancongadmin/.erlang.cookie ~/
yancongadmin@node1's password:
.erlang.cookie                                                                                     100%   20     0.0KB/s   00:00


node3：
yancongadmin@node3:~$ chmod 777 .erlang.cookie
yancongadmin@node3:~$ scp -r node1:/home/yancongadmin/.erlang.cookie ~/
yancongadmin@node1's password:
.erlang.cookie                                                                                     100%   20     0.0KB/s   00:00

分别在node1、node2、node3将权限恢复过来：

yancongadmin@node1:~$ chmod 400 .erlang.cookie

最后分别在确认三台机器上的.erlang.cookie的值是一致的

yancongadmin@node1:~$ cat .erlang.cookie
VORMVSAAOFOFEQKTNWBB
yancongadmin@node2:~$ cat .erlang.cookie
VORMVSAAOFOFEQKTNWBB
yancongadmin@node3:~$ cat .erlang.cookie
VORMVSAAOFOFEQKTNWBB

使用detached参数，在后台启动Rabbit Node

yancongadmin@node1:~$ rabbitmqctl stop
Stopping and halting node rabbit@node1 ...
Gracefully halting Erlang VM
yancongadmin@node1:~$ rabbitmq-server -detached

通过rabbitmqctl cluster_status命令，可以查看和个节点的状态，节点的名称是rabbit@shorthostname，

node1:
yancongadmin@node1:~$ rabbitmqctl cluster_status
Cluster status of node rabbit@node1 ...
[{nodes,[{disc,[rabbit@node1]}]},
 {running_nodes,[rabbit@node1]},
 {cluster_name,<<"rabbit@node1">>},
 {partitions,[]},
 {alarms,[{rabbit@node1,[]}]}]

node2:
yancongadmin@node2:~$ rabbitmqctl cluster_status
Cluster status of node rabbit@node2 ...
[{nodes,[{disc,[rabbit@node2]}]},
 {running_nodes,[rabbit@node2]},
 {cluster_name,<<"rabbit@node2">>},
 {partitions,[]},
 {alarms,[{rabbit@node2,[]}]}]
 
 
node3:
yancongadmin@node3:~$ rabbitmqctl cluster_status
Cluster status of node rabbit@node3 ...
[{nodes,[{disc,[rabbit@node3]}]},
 {running_nodes,[rabbit@node3]},
 {cluster_name,<<"rabbit@node3">>},
 {partitions,[]},
 {alarms,[{rabbit@node3,[]}]}]

将node1、node2、node3组成集群

因为rabbitmq-server启动时，会一起启动节点和应用，它预先设置RabbitMQ应用为standalone模式。要将一个节点加入到现有的集群中，你需要停止这个应用并将节点设置为原始状态，然后就为加入集群准备好了。如果使用./rabbitmqctl stop，应用和节点都将被关闭。所以使用rabbitmqctl stop_app仅仅关闭应用。 

node2:
yancongadmin@node2:~$ rabbitmqctl stop_app
Stopping node rabbit@node2 ...
yancongadmin@node2:~$ rabbitmqctl join_cluster rabbit@node1
Clustering node rabbit@node2 with rabbit@node1 ...
yancongadmin@node2:~$ rabbitmqctl start_app
Starting node rabbit@node2 ...


node3:
yancongadmin@node3:~$ rabbitmqctl stop_app
Stopping node rabbit@node3 ...
yancongadmin@node3:~$ rabbitmqctl join_cluster rabbit@node1
Clustering node rabbit@node3 with rabbit@node1 ...
yancongadmin@node3:~$ rabbitmqctl start_app
Starting node rabbit@node3 ...

此时 node2 与 node3 也会自动建立连接。

如果要使用内存节点，则可以使用以下命令：

yancongadmin@node2:~$ rabbitmqctl join_cluster --ram rabbit@node1

集群配置好后，可以在 RabbitMQ 任意节点上执行 rabbitmqctl cluster_status 来查看是否集群配置成功。

node1:

yancongadmin@node1:~$ rabbitmqctl cluster_status
Cluster status of node rabbit@node1 ...
[{nodes,[{disc,[rabbit@node1,rabbit@node2,rabbit@node3]}]},
 {running_nodes,[rabbit@node1]},
 {cluster_name,<<"rabbit@node1">>},
 {partitions,[]},
 {alarms,[{rabbit@node1,[]}]}]
node2:

yancongadmin@node2:~$ rabbitmqctl cluster_status
Cluster status of node rabbit@node2 ...
[{nodes,[{disc,[rabbit@node1,rabbit@node2]}]},{alarms,[{rabbit@node1,[]}]}]
node3:

yancongadmin@node3:~$ rabbitmqctl cluster_status
Cluster status of node rabbit@node3 ...
[{nodes,[{disc,[rabbit@node1,rabbit@node2,rabbit@node3]}]},
 {alarms,[{rabbit@node1,[]}]}]

RabbitMQ镜像功能

使用Rabbit镜像功能，需要基于RabbitMQ策略来实现，策略是用来控制和修改群集范围的某个vhost队列行为和Exchange行为

yancongadmin@node2:~$ rabbitmqctl set_policy -p hrsystem ha-allqueue"^" '{"ha-mode":"all"}'

这行命令在vhost名称为hrsystem创建了一个策略，策略名称为ha-allqueue,策略模式为 all 即复制到所有节点，包含新增节点，策略正则表达式为 “^” 表示所有匹配所有队列名称。

例如下面的命令，^message 这个规则要根据自己修改，这个是指同步”message”开头的队列名称，我们配置时使用的应用于所有队列，所以表达式为”^”。

yancongadmin@node2:~$ rabbitmqctl set_policy -p hrsystem ha-allqueue "^message" '{"ha-mode":"all"}'

在任意一个节点上执行：

yancongadmin@node2：#  rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'
Setting policy "ha-all" for pattern "^" to "{\"ha-mode\":\"all\"}" with priority "0"

将所有队列设置为镜像队列，即队列会被复制到各个节点，各个节点状态保持一直。

我使用过的例子,仅供参考：

rabbitmqctl set_policy ha-xxx "^cn\.xxx" \
   '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic","ha-promote-on-shutdown":"always","ha-sync-batch-size":20}'
   
rabbitmqctl set_policy queue-xxx "^queue" \
   '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic","ha-promote-on-shutdown":"always","ha-sync-batch-size":20}'

如果需要负载均衡器，需要安装并配置 HAProxy

例如：

listen rabbitmq_cluster 0.0.0.0:5672
 
mode tcp
balance roundrobin
 
server   node1 10.0.0.231:5672 check inter 2000 rise 2 fall 3 
server   node2 10.0.0.232:5672 check inter 2000 rise 2 fall 3
server   node3 10.0.0.233:5672 check inter 2000 rise 2 fall 3

参考：http://idoall.org/blog/post/lion/15