rocketMq集群环境搭建

RocketMq:
    分布式队列中间件，高可用
    可以保证严格的消息顺序
    提供丰富的消息拉取模式
    高效的订阅者水平扩展模式
    实时消息订阅机制
    亿级消息堆积能力
    消息失败重试机制
    消息能够查询

RocketMq环境搭建：
    机器，xupan001,xupan002，xupan003，xupan004分别加入如下：

192.168.0.118 xupan001
192.168.0.119 xupan002
192.168.0.120 xupan003
192.168.0.38 xupan004

上传 alibaba-rocketmq-3.2.6.tar.gz 到 /usr/local/devtools/rocketmq/     解压

建立存储路径，说明（这里能够不建立，启动的时候会自动建立）
    cd usr/local/devtools/rocketmq 建立存储目录： mkdir store logs
    cd usr/local/devtools/rocketmq/store  建立存储目录： mkdir commitlog consumequeue index

修改配置文件：
    cd /usr/local/devtools/rocketmq/alibaba-rocketmq/conf/2m-noslave

============================================================================
#所属集群名字
brokerClusterName=rocketmq-cluster 

#broker名字，注意此处不一样的配置文件填写的不同 
brokerName=broker-a|broker-b

#0 表示 Master，>0 表示 Slave
brokerId=0

#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

#在发送消息时，自动建立服务器不存在的topic，默认建立的队列数 
defaultTopicQueueNums=4

#是否容许 Broker 自动建立Topic，建议线下开启，线上关闭 
autoCreateTopicEnable=true

#是否容许 Broker 自动建立订阅组，建议线下开启，线上关闭 
autoCreateSubscriptionGroup=true

#Broker 对外服务的监听端口
listenPort=10911

#删除文件时间点，默认凌晨 4点
deleteWhen=04

#文件保留时间，默认 48 小时
fileReservedTime=120

#commitLog每一个文件的大小默认1G
mapedFileSizeCommitLog=1073741824

#ConsumeQueue每一个文件默认存30W条，根据业务状况调整 
mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000 
#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88

#存储路径
storePathRootDir=/usr/local/devtools/rocketmq/store

#commitLog 存储路径 
storePathCommitLog=/usr/local/devtools/rocketmq/store/commitlog 

#消费队列存储路径存储路径 
storePathConsumeQueue=/usr/local/devtools/rocketmq/store/consumequeue

#消息索引存储路径
storePathIndex=/usr/local/devtools/rocketmq/store/index

#checkpoint 文件存储路径 
storeCheckpoint=/usr/local/devtools/rocketmq/store/checkpoint 

#abort 文件存储路径 
abortFile=/usr/local/devtools/rocketmq/store/abort

#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4 
#flushConsumeQueueLeastPages=2 
#flushCommitLogThoroughInterval=10000 
#flushConsumeQueueThoroughInterval=60000

#Broker 的角色
#- ASYNC_MASTER 异步复制Master 
#- SYNC_MASTER 同步双写Master 
#- SLAVE 
brokerRole=ASYNC_MASTER

#刷盘方式
#- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 
flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false
#发消息线程池数量 
#sendMessageThreadPoolNums=128 
#拉消息线程池数量 
#pullMessageThreadPoolNums=128

============================================================================

替换配置文件：
    cd /usr/local/devtools/rocketmq/alibaba-rocketmq/conf 
     sed -i 's#${user.home}#/usr/local/devtools/rocketmq#g' *.xml

修改JVM：vim bin/runbroker.sh
    JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m - XX:PermSize=128m -XX:MaxPermSize=320m"

编写启动脚本startNameServer.sh  1，2，3，4台机器
#!/bin/bash
nohup sh mqnamesrv &

编写脚本startBrokerServer.sh
xupan001:
nohup sh mqbroker -c /usr/local/devtools/rocketmq/alibaba-rocketmq/conf/2m-2s-async/broker-a.properties >/dev/null 2>&1 &

xupan002:
nohup sh mqbroker -c /usr/local/devtools/rocketmq/alibaba-rocketmq/conf/2m-2s-async/broker-b.properties >/dev/null 2>&1 &

xupan003:
nohup sh mqbroker -c /usr/local/devtools/rocketmq/alibaba-rocketmq/conf/2m-2s-async/broker-a-s.properties >/dev/null 2>&1 & 

xupan004:
nohup sh mqbroker -c /usr/local/devtools/rocketmq/alibaba-rocketmq/conf/2m-2s-async/broker-b-s.properties >/dev/null 2>&1 &

[root@xupan004 bin]# jps
2633 Jps
2588 BrokerStartup
2482 NamesrvStartup
[root@xupan004 bin]# 

 

 

 

xupan004控制台：

rocketmq-console-ng-1.0.0.jar

[root@xupan004 console]# cat startConsole.sh 
java -jar rocketmq-console-ng-1.0.0.jar --server.port=8888 --com.rocketmq.sendMessageWithVIPChannel=false  --rocketmq.config.namesrvAddr=xupan001:9876;xupan002:9876;xupan003:9876;xupan004:987

rocketMq-console [root@xupan004 console]# pwd /usr/local/devtools/rocketmq/console