IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓ 		图片批量下载器
↓批量下载图片,美女图库↓ 		图片自动播放器
↓图片自动播放器↓ 		一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> RocketMQ(8) -- RocketMQ集群搭建实践 -> 正文阅读

[大数据]RocketMQ(8) -- RocketMQ集群搭建实践

分布式消息队列RocketMQ

二、?RocketMQ的安装与启动

2.7）集群搭建实践

2.7.1） 集群架构

这里要搭建一个双主双从异步复制的Broker集群。为了方便，这里使用了两台主机来完成集群的搭建，这两台主机的功能与broker角色分配如下表。

序号主机IP功能BROKER角色
1127.0.0.1NameServer + BrokerMaster1 + Slave2
2127.0.0.2NameServer + BrokerMaster2 + Slave1

2.7.2） 修改配置文件

登录第一台主机，配置文件位置：要修改的配置文件在rocketMQ解压目录的conf/2m-2s-async目录中

修改broker-a.properties，将该配置文件内容修改为如下：

# 指定整个broker集群的名称，或者说是RocketMQ集群的名称 
brokerClusterName=DefaultCluster 
# 指定master-slave集群的名称。一个RocketMQ集群可以包含多个master-slave集群 
brokerName=broker-a 
# master的brokerId为0 
brokerId=0
# 指定删除消息存储过期文件的时间为凌晨4点 
deleteWhen=04 
# 指定未发生更新的消息存储文件的保留时长为48小时，48小时后过期，将会被删除 
fileReservedTime=48 
# 指定当前broker为异步复制master 
brokerRole=ASYNC_MASTER 
# 指定刷盘策略为异步刷盘 
flushDiskType=ASYNC_FLUSH 
# 指定Name Server的地址 
namesrvAddr=127.0.0.1:9876;127.0.0.2:9876

修改broker-b-s.properties，将该配置文件内容修改为如下：

brokerClusterName=DefaultCluster 
# 指定这是另外一个master-slave集群 
brokerName=broker-b 
# slave的brokerId为非0 
brokerId=1
deleteWhen=04
fileReservedTime=48 
# 指定当前broker为slave 
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=127.0.0.1:9876;127.0.0.2:9876
# 指定Broker对外提供服务的端口，即Broker与producer与consumer通信的端口。默认 10911。由于当前主机同时充当着master1与slave2，而前面的master1使用的是默认端口。这 里需要将这两个端口加以区分，以区分出master1与slave2 
listenPort=11911 
# 指定消息存储相关的路径。默认路径为~/store目录。由于当前主机同时充当着master1与 slave2，master1使用的是默认路径，这里就需要再指定一个不同路径 storePathRootDir=~/store-s
storePathCommitLog=~/store-s/commitlog
storePathConsumeQueue=~/store-s/consumequeue
storePathIndex=~/store-s/index
storeCheckpoint=~/store-s/checkpoint
abortFile=~/store-s/abort

其它配置

除了以上配置外，这些配置文件中还可以设置其它属性

#指定整个broker集群的名称，或者说是RocketMQ集群的名称 
brokerClusterName=rocket-MS 
#指定master-slave集群的名称。一个RocketMQ集群可以包含多个master-slave集群 
brokerName=broker-a
#0 表示 Master，>0 表示 Slave 
brokerId=0 
#nameServer地址，分号分割 
namesrvAddr=nameserver1:9876;nameserver2:9876 
#默认为新建Topic所创建的队列数 
defaultTopicQueueNums=4 
#是否允许 Broker 自动创建Topic，建议生产环境中关闭 
autoCreateTopicEnable=true 
#是否允许 Broker 自动创建订阅组，建议生产环境中关闭 
autoCreateSubscriptionGroup=true 
#Broker对外提供服务的端口，即Broker与producer与consumer通信的端口 
listenPort=10911 
#HA高可用监听端口，即Master与Slave间通信的端口，默认值为listenPort+1 
haListenPort=10912 
#指定删除消息存储过期文件的时间为凌晨4点 
deleteWhen=04 
#指定未发生更新的消息存储文件的保留时长为48小时，48小时后过期，将会被删除 
fileReservedTime=48 
#指定commitLog目录中每个文件的大小，默认1G 
mapedFileSizeCommitLog=1073741824 
#指定ConsumeQueue的每个Topic的每个Queue文件中可以存放的消息数量，默认30w条 
mapedFileSizeConsumeQueue=300000 
#在清除过期文件时，如果该文件被其他线程所占用（引用数大于0，比如读取消息），此时会阻止此次删除任务，同时在第一次试图删除该文件时记录当前时间戳。
#该属性则表示从第一次拒绝删除 后开始计时，该文件多可以保留的时长。在此时间内若引用数仍不为0，则删除仍会被拒绝。不过 时间到后，文件将被强制删除 destroyMapedFileIntervalForcibly=120000 
#指定commitlog、consumequeue所在磁盘分区的大使用率，超过该值，则需立即清除过期文件 
diskMaxUsedSpaceRatio=88 
#指定store目录的路径，默认在当前用户主目录中 
storePathRootDir=/usr/local/rocketmq-all-4.5.0/store
#commitLog目录路径 
storePathCommitLog=/usr/local/rocketmq-all-4.5.0/store/commitlog 
#consumeueue目录路径 
storePathConsumeQueue=/usr/local/rocketmq-all-4.5.0/store/consumequeue 
#index目录路径 
storePathIndex=/usr/local/rocketmq-all-4.5.0/store/index 
#checkpoint文件路径 
storeCheckpoint=/usr/local/rocketmq-all-4.5.0/store/checkpoint 
#abort文件路径 
abortFile=/usr/local/rocketmq-all-4.5.0/store/abort 
#指定消息的最大的大小 
maxMessageSize=65536 
#Broker的角色 
#  - ASYNC_MASTER 异步复制Master 
#  - SYNC_MASTER 同步双写Master 
#  - SLAVE
brokerRole=SYNC_MASTER 
#刷盘策略 
#  - ASYNC_FLUSH 异步刷盘 
#  - SYNC_FLUSH 同步刷盘 
flushDiskType=SYNC_FLUSH 
#发消息线程池数量 
sendMessageThreadPoolNums=128 
#拉消息线程池数量 
pullMessageThreadPoolNums=128 
#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地址可能读取错误 
brokerIP1=192.168.3.105

登录第二台主机，配置文件位置：要修改的配置文件在rocketMQ解压目录的conf/2m-2s-async目录中

修改broker-b.properties，将该配置文件内容修改为如下：

# 指定整个broker集群的名称，或者说是RocketMQ集群的名称 
brokerClusterName=DefaultCluster 
# 指定master-slave集群的名称。一个RocketMQ集群可以包含多个master-slave集群 
brokerName=broker-b 
# master的brokerId为0 
brokerId=0
# 指定删除消息存储过期文件的时间为凌晨4点 
deleteWhen=04 
# 指定未发生更新的消息存储文件的保留时长为48小时，48小时后过期，将会被删除 
fileReservedTime=48 
# 指定当前broker为异步复制master 
brokerRole=ASYNC_MASTER 
# 指定刷盘策略为异步刷盘 
flushDiskType=ASYNC_FLUSH 
# 指定Name Server的地址 
namesrvAddr=127.0.0.1:9876;127.0.0.2:9876

修改broker-a-s.properties，将该配置文件内容修改为如下：

brokerClusterName=DefaultCluster 
# 指定这是另外一个master-slave集群 
brokerName=broker-a
# slave的brokerId为非0 
brokerId=1
deleteWhen=04
fileReservedTime=48 
# 指定当前broker为slave 
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=127.0.0.1:9876;127.0.0.2:9876
# 指定Broker对外提供服务的端口，即Broker与producer与consumer通信的端口。默认 10911。由于当前主机同时充当着master1与slave2，而前面的master1使用的是默认端口。这 里需要将这两个端口加以区分，以区分出master1与slave2 
listenPort=11911 
# 指定消息存储相关的路径。默认路径为~/store目录。由于当前主机同时充当着master1与 slave2，master1使用的是默认路径，这里就需要再指定一个不同路径 storePathRootDir=~/store-s
storePathCommitLog=~/store-s/commitlog
storePathConsumeQueue=~/store-s/consumequeue
storePathIndex=~/store-s/index
storeCheckpoint=~/store-s/checkpoint
abortFile=~/store-s/abort

2.7.3） 启动服务器

2.7.3.1）启动NameServer集群

分别启动服务器一与服务器二两个主机中的NameServer。启动命令完全相同：

nohup sh bin/mqnamesrv &
tail -f ~/logs/rocketmqlogs/namesrv.log
?
# 服务器一
[root@VM-20-6-centos rocketmq-4.9.3]# tail -f ~/logs/rocketmqlogs/namesrv.log
2022-05-04 18:34:45 INFO main - tls.client.keyPassword = null
2022-05-04 18:34:45 INFO main - tls.client.certPath = null
2022-05-04 18:34:45 INFO main - tls.client.authServer = false
2022-05-04 18:34:45 INFO main - tls.client.trustCertPath = null
2022-05-04 18:34:45 INFO main - Using JDK SSL provider
2022-05-04 18:34:46 INFO main - SSLContext created for server
2022-05-04 18:34:46 INFO main - Try to start service thread:FileWatchService started:false lastThread:null
2022-05-04 18:34:46 INFO NettyEventExecutor - NettyEventExecutor service started
2022-05-04 18:34:46 INFO main - The Name Server boot success. serializeType=JSON
2022-05-04 18:34:46 INFO FileWatchService - FileWatchService service started
2022-05-04 18:35:46 INFO NSScheduledThread1 - -------------------------------------------
2022-05-04 18:35:46 INFO NSScheduledThread1 - configTable SIZE: 0
?
# 服务器二
[root@VM-4-9-centos rocketmq-4.9.3]# tail -f ~/logs/rocketmqlogs/namesrv.log
2022-05-04 18:34:49 INFO main - tls.client.keyPassword = null
2022-05-04 18:34:49 INFO main - tls.client.certPath = null
2022-05-04 18:34:49 INFO main - tls.client.authServer = false
2022-05-04 18:34:49 INFO main - tls.client.trustCertPath = null
2022-05-04 18:34:49 INFO main - Using JDK SSL provider
2022-05-04 18:34:50 INFO main - SSLContext created for server
2022-05-04 18:34:50 INFO main - Try to start service thread:FileWatchService started:false lastThread:null
2022-05-04 18:34:50 INFO NettyEventExecutor - NettyEventExecutor service started
2022-05-04 18:34:50 INFO main - The Name Server boot success. serializeType=JSON
2022-05-04 18:34:50 INFO FileWatchService - FileWatchService service started
2022-05-04 18:35:50 INFO NSScheduledThread1 - -------------------------------------------
2022-05-04 18:35:50 INFO NSScheduledThread1 - configTable SIZE: 0

2.7.3.2）启动两个Master

分别启动服务器一与服务器二两个主机中的broker master。注意，它们指定所要加载的配置文件是不同的。

# 服务器一
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a.properties &
tail -f ~/logs/rocketmqlogs/broker.log
?
# 服务器二
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b.properties &
tail -f ~/logs/rocketmqlogs/broker.log

2.7.3.3）启动两个Slave

分别启动服务器一与服务器二两个主机中的broker slave。注意，它们指定所要加载的配置文件是不同的。

# 服务器一
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b-s.properties &
tail -f ~/logs/rocketmqlogs/broker.log

# 服务器二
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a-s.properties &
tail -f ~/logs/rocketmqlogs/broker.log
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技：还在苦于ETL？Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch：如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-05-05 11:25:14  更:2022-05-05 11:25:27 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 1:20:54-

图片自动播放器
↓图片自动播放器↓ 		TxT小说阅读器
↓语音阅读,小说下载,古典文学↓ 		一键清除垃圾
↓轻轻一点,清除系统垃圾↓ 		图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码