网站首页 > 技术文章 正文
为什么要做集群?集群主要用于实现高可用与负载均衡。
高可用:如果集群中的某些MQ服务器不可用,客户端还可以连接到其他MQ服务器。负载均衡:在高并发的场景下,单台MQ服务器能处理的消息有限,可以分发给多台MQ服务器。
RabbitMQ有两种集群模式:普通集群模式和镜像队列模式。
1.RabbitMQ 如何支持集群
应用做集群,需要面对数据同步和通信的问题。因为Erlang天生具备分布式的特性,所以RabbitMQ天然支持集群,不需要通过引入ZK或者数据库来实现数据同步
RabbitMQ通过/var/lib/rabbitmq/.erlang.cookie来验证身份,需要在所有节点上保持一致。
集群通过25672端口两两通信,需要开放防火墙的端口。需要注意的是,RabbitMQ 集群无法搭建在广域网上,除非使用 federation 或者shovel等插件(没这个必要,在同一个机房做集群)。
集群的配置步骤:
- 配置hosts
- 同步erlang.cookie
- 加入集群(join cluster)
2.RabbitMQ 集群节点类型
集群有两种节点类型,一种是磁盘节点(Disc Node),一种是内存节点(RAMNode)
2.1 磁盘节点
磁盘节点:将元数据(包括队列名字属性、交换机的类型名字属性、绑定、vhost)放在磁盘中
2.2 内存节点
内存节点:将元数据放在内存中。
PS:内存节点会将磁盘节点的地址存放在磁盘(不然重启后就没有办法同步数据了)。如果是持久化的消息,会同时存放在内存和磁盘。集群中至少需要一个磁盘节点用来持久化元数据,否则全部内存节点崩溃时,就无从同步元数据。未指定类型的情况下,默认为磁盘节点。我们一般把应用连接到内存节点(读写快),磁盘节点用来备份。
3.RabbitMQ 集群模式
3.1 普通集群
普通集群模式下,不同的节点之间只会相互同步元数据,不同步具体的消息,若需要具体消息时需要转发到源节点(1)
为什么不直接把队列的内容(消息)在所有节点上复制一份?
主要是出于存储和同步数据的网络开销的考虑,如果所有节点都存储相同的数据,就无法达到线性地增加性能和存储容量的目的(堆机器)。
- 假如生产者连接的是节点3,要将消息通过交换机A路由到队列1,最终消息还是会转发到节点1上存储,因为队列1的内容只在节点1上。
- 同理,如果消费者连接是节点 2,要从队列 1上拉取消息,消息会从节点1 转发到节点2。其它节点起到一个路由的作用,类似于指针。
普通集群模式不能保证队列的高可用性,因为队列内容不会复制。如果节点失效将导致相关队列不可用,因此我们需要第二种集群模式。
3.2 镜像集群
第二种集群模式叫做镜像队列。
镜像队列模式下,消息内容会在镜像节点间同步,可用性更高。不过也有一定的副作用,系统性能会降低,节点过多的情况下同步的代价比较大。
操作方式 | 命令或步骤 |
rabbitmqctl (Windows) | rabbitmqctl set_policy ha-all “^ha.” “{”“ha-mode”":"“all”"}" |
HTTP API | PUT /api/policies/%2f/ha-all {“pattern”:"^ha.", “definition”:{“ha-mode”:“all”}} |
WebUI | 1、 avigate to Admin > Policies > Add / update a policy |
4.负载均衡 + 高可用
4.1 基于负载均衡组件
集群搭建成功后,如果有多个内存节点,那么生产者和消费者应该连接到哪个内存节点?如果在我们的代码中根据一定的策略来选择要使用的服务器,那每个地方都要修改,客户端的代码就会出现很多的重复,修改起来也比较麻烦。
所以需要一个负载均衡的组件(例如HAProxy,LVS,Nignx),由负载的组件来做路由。这个时候,只需要连接到负载组件的IP地址就可以了。负载分为四层负载和七层负载。
四层负载:工作在OSI模型的第四层,即传输层(TCP位于第四层),它是根据IP端口进行转发(LVS支持四层负载)。RabbitMQ是TCP的5672端口。七层负载:工作在第七层,应用层(HTTP位于第七层)。可以根据请求资源类型分配到后端服务器(Nginx支持七层负载;HAProxy支持四层和七层负载)。
但是,如果这个负载的组件也挂了呢?客户端就无法连接到任意一台MQ的服务器了。所以负载软件本身也需要做一个集群。新的问题又来了,如果有两台负载的软件,客户端应该连哪个?
负载之上再负载?陷入死循环了。这个时候我们就要换个思路了。我们应该需要这样一个组件:
- 它本身有路由(负载)功能,可以监控集群中节点的状态(比如监控HAProxy),如果某个节点出现异常或者发生故障,就把它剔除掉。
- 为了提高可用性,它也可以部署多个服务,但是只有一个自动选举出来的MASTER服务器(叫做主路由器),通过广播心跳消息实现。
- MASTER 服务器对外提供一个虚拟 IP,提供各种网络功能。也就是谁抢占到VIP,就由谁对外提供网络服务。应用端只需要连接到这一个IP就行了。
这个协议叫做 VRRP 协议(虚拟路由冗余协议 Virtual Router RedundancyProtocol),这个组件就是Keepalived,它具有负载均衡(LoadBalance)和高可用(HighAvailability)的功能。
4.2 HAproxy 负载+Keepalived 高可用
基于 Docker 安装 HAproxy 负载+Keepalived 高可用
IP规划:
- 内存节点1:192.168.8.40
- 内存节点2:192.168.8.45
- 磁盘节点:192.168.8.150
- VIP:192.168.8.220
具体搭建步骤:
- 我们规划了两个内存节点,一个磁盘节点。所有的节点之间通过镜像队列的方式同步数据。内存节点用来给应用访问,磁盘节点用来持久化数据。
- 为了实现对两个内存节点的负载, 我们安装了两个HAProxy,监听两个5672和15672的端口。
- 安装两个Keepalived,一主一备。两个Keepalived抢占一个VIP192.168.8.220。谁抢占到这个VIP,应用就连接到谁,来执行对MQ的负载。
这种情况下,我们的Keepalived挂了一个节点,没有影响,因为BACKUP会变成 MASTER,抢占 VIP。HAProxy挂了一个节点,没有影响,我们的 VIP 会自动路由的可用的HAProxy服务。RabbitMQ挂了一个节点,没有影响, 因为 HAProxy 会自动负载到可用的节点。
猜你喜欢
- 2024-09-24 RabbitMQ宕机后,消息100%不会丢失吗
- 2024-09-24 非常强悍的 RabbitMQ 总结,写得真好
- 2024-09-24 「服务器」RabbitMQ入门教程——简介及工作原理
- 2024-09-24 在 WebApi 项目中快速开始使用 RabbitMQ
- 2024-09-24 RabbitMQ使用延迟插件,代码量直接降一半?
- 2024-09-24 RabbitMQ 高可用之镜像队列
- 2024-09-24 k8s上创建高可用RabbitMQ集群
- 2024-09-24 Centos7部署RabbitMQ的镜像队列集群
- 2024-09-24 docker分布式部署rabbitmq高可用集群
- 2024-09-24 详解如何用zabbix来监控rabbitmq消息队列服务
你 发表评论:
欢迎- 最近发表
- 标签列表
-
- oraclesql优化 (66)
- 类的加载机制 (75)
- feignclient (62)
- 一致性hash算法 (71)
- dockfile (66)
- 锁机制 (57)
- javaresponse (60)
- 查看hive版本 (59)
- phpworkerman (57)
- spark算子 (58)
- vue双向绑定的原理 (68)
- springbootget请求 (58)
- docker网络三种模式 (67)
- spring控制反转 (71)
- data:image/jpeg (69)
- base64 (69)
- java分页 (64)
- kibanadocker (60)
- qabstracttablemodel (62)
- java生成pdf文件 (69)
- deletelater (62)
- com.aspose.words (58)
- android.mk (62)
- qopengl (73)
- epoch_millis (61)
本文暂时没有评论,来添加一个吧(●'◡'●)