计算机系统应用教程网站

网站首页 > 技术文章 正文

开源物联网MQTT 5.0服务器——EMQX服务集群搭建教程

btikc 2024-10-12 11:55:20 技术文章 2 ℃ 0 评论

集群是指通过组合一组计算机软硬件来协同完成计算任务,这些软硬件之间通过网络连接。组成一个集群的软硬件可以有相同、相似或完全不同的结构和功能。从外部来看,一个集群可以被看作一个整体而无需了解集群内部的细节就可以使用集群提供的服务。通常,一个集群可以提供比单个计算机更高的处理速度、数据吞吐量和可靠性。

在集群中的每个单独的能独立工作的软硬件模块,称之为一个节点。

EMQ X 支持集群。多台 EMQ X 服务器可以工作在集群模式下,各个服务器之间通过TCP网络相连,其中每个 EMQ X 服务器就是一个节点。相对于单服务器,EMQ X 集群能通过多台服务器之间的协作带来以下优势:

  • 高可用性:在单机模式下,如果服务器故障停机,则整个 EMQ X 提供的消息服务也就随之中断,整个应用服务也随之不可用。在集群模式下,单台或少量的服务器故障并不会导致整个消息服务中断,其余的正常工作的节点可以继续提供服务。
  • 负载均衡:通过负载均衡机制,EMQ X 集群可以把负载平均的分布在各个节点。
  • 更高的整体性能:相比单机部署,多节点的 EMQ X 集群能够成倍的提升整个系统的连接和消息处理能力。
  • 可扩展性:当应用需要更强的处理能力的时候,可以通过在集群中添加新节点的方式来完成扩容而无需停机。

基于 Erlang/OTP 的 EMQ X集群

EMQ X 使用Erlang/OTP 平台。Erlang/OTP 最初是为了开发电信设备系统而设计的编程语言平台,在设计时就将集群特性作为一项重要的特性纳入考虑,以 Erlang/OTP 实现的分布式系统在集群上基本都是简单易用而又高效可靠,EMQ X 也不例外。


当某个客户端连接到 EMQ X 集群的一个节点后,他所订阅的主题会被通知到其他节点,他所发布的消息也会被所有节点上订阅了相应主题的客户端收到。用户无需关心其中的实现细节。对于用户而言,这一切都是透明和自动的。

节点

集群中的每台 EMQ X 服务器就是一个节点。在集群内部的通讯中,节点由一个唯一的节点名标识。节点名的格式为 name@host,其中name由用户指定,host是IP地址或者全程域名(FQDN,Fully Qualified Domain Name)。比如:

emqx1@192.168.1.165
emqx2@broker1.emqx.io

节点间通讯

EMQ X 集群使用epmd来映射节点名称到TCP端口,如果集群所在网络内部有防火墙等过滤机制,需要在上面允许相应的端口通讯。

EMQ X 使用 Erlang/OTP 的 magic cookie机制来确认同一个集群之间的互联。只需要在要加入集群的节点上设置相同的cookie字串即可。

集群内部的通讯可以是 TCPv4 或者 TCPv6,支持TLS方式。

EMQ X 集群处理MQTT协议的方式

EMQ X 集群处理MQTT的基本原则可以概括为以下两点:

  • MQTT 客户端订阅主题时,所在节点订阅成功后广播通知其他节点:某个主题(Topic)被本节点订阅。
  • MQTT 客户端发布消息时,所在节点会根据消息主题(Topic),检索订阅并路由消息到相关节点。EMQ X 消息服务器同一集群的所有节点,都会复制一份主题(Topic) -> 节点(Node)映射的路由表,例如一个简单的路由表可以是这样的:
topic1 -> node1, node2
topic2 -> node3
topic3 -> node2, node4

主题树(Topic Trie)与路由表(Route Table)

在EMQ X 集群的每个节点,都会保存一份主题树和路由表。

如果在集群中有如下的主题订阅关系:

客户端所在节点订阅主题client1node1t/+/x, t/+/yclient2node2t/#client3node3t/+/x, t/a

最终会生成如下的主题树和路由表:


订阅与消息派发

客户端的主题订阅(Subscription)关系,只保存在客户端所在节点,用于本节点内派发消息到客户端。

例如client1向主题’t/a’发布消息,消息在节点间的路由与派发流程:

client1->node1: Publish[t/a]
node1-->node2: Route[t/#]node1-->
node3: Route[t/a]node2-->
client2: Deliver[t/#]node3-->
client3: Deliver[t/a]

一、静态集群

EMQ X 静态集群的原理是在所有需要加入集群的 EMQ X 上配置一个相同的节点列表,这个列表包含所有节点的节点名,它是自动集群中最简单的一种,在各节点启动后,会根据列表自动建立一个集群。静态集群只需要各节点间可以通过 TCP 协议互相访问,不需要任何其他网络组件或服务,也不需要网络支持IP组播。

节点配置

静态集群的配置相对简单,只需要在每个节点的 etc/emqx.conf 文件中配置集群方式和节点列表即可:

cluster.discovery = static
##--------------------------------------------------------------------
##Cluster with static node list
cluster.static.seeds = emqx1@192.168.0.10,emqx2@192.168.0.20

cluster.discovery 为集群方式。cluster.static.seeds 配置项为集群列表。列表中的节点名遵从name@host的格式,各个节点名以逗号(,)分隔。配置完成后,启动所有节点,集群即可建立。

查询集群状态

在任意节点上执行以下命令可以查询集群状态:

$ ./bin/emqx_ctl cluster statusCluster status: [{running_nodes,['emqx1@192.168.0.10','emqx2@192.168.0.20']}]


二、使用 IP 组播的自动集群

IP 组播(Multicast)自动集群的原理

IP 组播(又称多播)是IP协议下的一种一对多的或多对多的通讯方式,它可以用于网络中多个(而不是全部)主机间的通讯。在 EMQ X 的集群中,所有的 EMQ X 节点正好构成一个这样的组播群体,可以利用组播的特性来向所有集群成员发送加入和退出集群的消息。这种方式配置较方便,使用灵活,无需额外的网元支持。因为 EMQ X 集群的节点数有限,组播消息也不会对网络造成过大压力。

使用组播组建集群无需额外的网元或软件,只需要网络环境自身支持组播即可。目前定义的组播地址段为D类地址端,落在224.0.0.0到239.255.255.255之间,划分为三个子段,

  • 224.0.0.0 ~ 224.0.0.255 :局部组播段。目的地址为此地址范围内的报文不会被路由器转发,常用于路由协议等用途。
  • 224.0.1.0 ~ 238.255.255.255 : 为全球范围预留段。
  • 239.0.0.0 ~ 239.255.255.255 : 管理权限组播段。可供组织内部使用,类似于192.168.0.0/16这样的私有网络IP地址。在EMQ X 集群中,我们一般使用第三个地址段。

使用组播建立EMQ X 集群的限制由于大多数的公有云提供商都禁止在云上使用组播,这种组网方式一般仅能在私有部署上应用。

配置 EMQ X 节点

您需要在各个 EMQ X 节点上编辑 'etc/emqx.conf'文件中的cluster段落和node段落。

配置组播集群方式

您需要指定 EMQ X 节点需要加入的组播群的地址、使用的端口和网络接口、TTL值、以及报文是否loop (是否接收自己发送的组播报文)。

cluster.discovery = mcast
##--------------------------------------------------------------------
## Cluster using IP Multicast.
## IP Multicast Address.
##
## Value: IP Address
cluster.mcast.addr = 239.192.0.1
## Multicast Ports.
##
## Value: Port List
cluster.mcast.ports = 4369,4370
## Multicast Iface.
##
## Value: Iface Address
##
## Default: 0.0.0.0
cluster.mcast.iface = 0.0.0.0
## Multicast Ttl.
##
## Value: 0-255
cluster.mcast.ttl = 255
## Multicast loop.
##
## Value: on | off
cluster.mcast.loop = on

配置节点名

按照 name@host 的格式为各个节点配置节点名,如:

node.name = emqx1@192.168.1.162

检验是否集群成功

在配置完成后,依次启动集群的各个节点。然后在任意节点上执行命令查询集群状态:

./emqx_ctl cluster status

看到以下结果则表示集群建立成功:

Cluster status: [{running_nodes,['emqx1@192.168.1.162','emqx2@192.168.1.165']}]

关闭集群内一个节点,再次查询集群状态,应该能看到以下结果:

Cluster status: [{running_nodes,['emqx2@192.168.1.165']},                 {stopped_nodes,['emqx1@192.168.1.162']}]

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表