1、RocketMQ基础知识介绍 Apache RocketMQ是阿里开源的一款高性能、高吞吐量、队列模型的消息中间件的分布式消息中间件。RocketMQ具备如下特色:javascript
上图是一个典型的消息中间件收发消息的模型,RocketMQ也是这样的设计,简单说来 RocketMQ具备如下特色: 1)是一个队列模型的消息中间件,具备高性能、高可靠、高实时、分布式特色。 2)Producer、Consumer、队列均可以分布式。 3)Producer向一些队列轮流发送消息,队列集合称为Topic,Consumer若是作广播消费,则一个consumer实例消费这个Topic对应的全部队列,若是作集群消费,则多个Consumer实例平均消费这个topic对应的队列集合。 4)支持严格的消息顺序; 5)提供丰富的消息拉取模式 6)高效的订阅者水平扩展能力 7)实时的消息订阅机制 8)亿级消息堆积能力 9)较少的依赖 10)支持Topic与Queue两种模式; 11)同时支持Push与Pull方式消费消息;前端
消息队列的应用场景 1)异步处理 将不是必须的业务逻辑,进行异步处理,好比注册以后短信、邮箱的发送java
2)应用解耦 订单系统:用户下单后,订单系统完成持久化处理,将消息写入消息队列,返回用户订单下单成功。 库存系统:订阅下单的消息,采用拉/推的方式,获取下单信息,库存系统根据下单信息,进行库存操做。 假如:在下单时库存系统不能正常使用。也不影响正常下单,由于下单后,订单系统写入消息队列就再也不关心其余的后续操做了。实现订单系统与库存系统的应用解耦。linux
3)流量削锋,也是消息队列中的经常使用场景,通常在秒杀或团抢活动中使用普遍。 应用场景:秒杀活动,通常会由于流量过大,致使流量暴增,应用挂掉。为解决这个问题,通常须要在应用前端加入消息队列。 a)能够控制活动的人数; b)能够缓解短期内高流量压垮应用; c)用户的请求,服务器接收后,首先写入消息队列。假如消息队列长度超过最大数量,则直接抛弃用户请求或跳转到错误页面; d)秒杀业务根据消息队列中的请求信息,再作后续处理。git
4)日志处理github
5)消息通信 消息通信是指,消息队列通常都内置了高效的通讯机制,所以也能够用在纯的消息通信。好比实现点对点消息队列,或者聊天室等。web
6)性能 RocketMQ单机也能够支持亿级的消息堆积能力。单机写入TPS单实例约7万条/秒,单机部署3个Broker,能够跑到最高12万条/秒,消息大小10个字节spring
RocketMQ 物理部署结构apache
如上图所示, RocketMQ的部署结构有如下特色: 1)Name Server 可集群部署,节点之间无任何信息同步。 2)Broker(消息中转角色,负责存储消息,转发消息) 部署相对复杂,Broker 分为Master 与Slave,一个Master 能够对应多个Slave,可是一个Slave 只能对应一个Master,Master 与Slave 的对应关系经过指定相同的BrokerName,不一样的BrokerId来定 义,BrokerId为0 表示Master,非0 表示Slave。Master 也能够部署多个。每一个Broker 与Name。 3)Producer 与Name Server 集群中的其中一个节点(随机选择)创建长链接,按期从Name Server 取Topic 路由信息,并向提供Topic 服务的Master 创建长链接,且定时向Master 发送心跳。Producer 彻底无状态,可集群部署。 4)Consumer 与Name Server 集群中的其中一个节点(随机选择)创建长链接,按期从Name Server 取Topic 路由信息,并向提供Topic 服务的Master、Slave 创建长链接,且定时向Master、Slave 发送心跳。Consumer既能够从Master 订阅消息,也能够从Slave 订阅消息,订阅规则由Broker 配置决定。json
Broker:消息中转角色,负责存储消息,转发消息 Broker集群有多种配置方式: 1)单Master 优势:除了配置简单没什么优势 缺点:不可靠,该机器重启或宕机,将致使整个服务不可用 2)多Master 优势:配置简单,性能最高 缺点:可能会有少许消息丢失(配置相关),单台机器重启或宕机期间,该机器下未被消费的消息在机器恢复前不可订阅,影响消息实时性 3)多Master多Slave,每一个Master配一个Slave,有多对Master-Slave,集群采用异步复制方式,主备有短暂消息延迟,毫秒级 优势:性能同多Master几乎同样,实时性高,主备间切换对应用透明,不需人工干预 缺点:Master宕机或磁盘损坏时会有少许消息丢失 4)多Master多Slave,每一个Master配一个Slave,有多对Master-Slave,集群采用同步双写方式,主备都写成功,向应用返回成功 优势:服务可用性与数据可用性很是高 缺点:性能比异步集群略低,当前版本主宕备不能自动切换为主
Master和Slave的配置文件参考conf目录下的配置文件 Master与Slave经过指定相同的brokerName参数来配对,Master的BrokerId必须是0,Slave的BrokerId必须是大于0的数。 一个Master下面能够挂载多个Slave,同一Master下的多个Slave经过指定不一样的BrokerId来区分。
2、RocketMQ集群部署记录
部署需求: 准备5台虚拟机,其中4台做为rocektmq broker(双master 双slave,同步双写,异步刷盘),另1台用做rocektmq的console(rocketmq监控平台)和nameserver。 0)基础信息
ip地址 主机名 角色
192.168.10.202 mq-master01 broker-a 192.168.10.203 mq-master02 broker-b 192.168.10.205 mq-slave01 broker-a-s 192.168.10.206 mq-slave02 broker-b-s 192.168.10.207 mq-console-nameserver nameserver、console -------------------------------------------------------------------------- 其实也能够不用那么多机器,2台机器也能够,broker-a和broker-b-s在一台机器(也就是说broker-a的主节点与broker-b的从节点部署在一台服务器), broker-a-s和broker-b在一台机器。nameserver和console部署到2台中的任一台上。 -------------------------------------------------------------------------- 关闭5台机器的iptables和selinux(全部节点机器上都要操做) [root@mq-master01 ~]# /etc/init.d/iptables stop [root@mq-master01 ~]# vim /etc/sysconfig/selinux ...... SELINUX=disabled [root@mq-master01 ~]# setenforce 0 [root@mq-master01 ~]# getenforce Permissive 5台机器都要按照java环境 [root@mq-master01 ~]# java -version java version "1.8.0_131" Java(TM) SE Runtime Environment (build 1.8.0_131-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode) -------------------------------------------------------------------------- 5台机器必定要提早作hosts绑定,不然后续启动broker的时候,会报错诸如: java.net.UnknownHostException: mq-master01: mq-master01: Name or service not known [root@mq-master01 bin]# cat /etc/hosts ...... 192.168.10.202 mq-master01 192.168.10.203 mq-master02 192.168.10.205 mq-slave01 192.168.10.206 mq-slave02 192.168.10.207 mq-console-nameserver
1)rocektmq broker 双master双slave部署
1)安装rocketmq(四台broker节点机器操做同样)
下载地址:https://pan.baidu.com/s/16UAXHwzzy0DoGX4u93vK7A 提取密码:rjib [root@mq-master01 software]# pwd /data/software [root@mq-master01 software]# unzip rocketmq3.2.6.zip [root@mq-master01 software]# ln -s /data/software/alibaba-rocketmq3.2.6 /data/rocketmq 建立存储路径 [root@mq-master01 software]# mkdir -p /data/rocketmq/store [root@mq-master01 software]# mkdir -p /data/rocketmq/store/commitlog [root@mq-master01 software]# mkdir -p /data/rocketmq/store/consumequeue [root@mq-master01 software]# mkdir -p /data/rocketmq/store/index [root@mq-master01 software]# ls /data/rocketmq/ benchmark bin conf issues lib LICENSE.txt readme.txt store test wiki [root@mq-master01 software]# ls /data/rocketmq/store/ commitlog consumequeue index --------------------------------------------------------------------------------- 2)配置rocektmq broker (四个节点机器都要操做) mq-master01节点配置/data/rocketmq/conf/2m-2s-sync/broker-a.properties [root@mq-master01 ~]# vim /data/rocketmq/conf/2m-2s-sync/broker-a.properties #所属集群名字 brokerClusterName=rocketmq-cluster #broker名字,注意此处不一样的配置文件填写的不同 例如:在a.properties 文件中写 broker-a 在b.properties 文件中写 broker-b brokerName=broker-a #0 表示 Master,>0 表示 Slave brokerId=0 #nameServer地址,这里nameserver是单台,若是nameserver是多台集群的话,就用分号分割(即namesrvAddr=ip1:port1;ip2:port2;ip3:port3) namesrvAddr=192.168.10.207:9876; #在发送消息时,自动建立服务器不存在的topic,默认建立的队列数 defaultTopicQueueNums=4 #是否容许 Broker 自动建立Topic,建议线下开启,线上关闭 autoCreateTopicEnable=true #是否容许 Broker 自动建立订阅组,建议线下开启,线上关闭 autoCreateSubscriptionGroup=true #Broker 对外服务的监听端口 listenPort=10911 #删除文件时间点,默认凌晨 4点 deleteWhen=04 #文件保留时间,默认 48 小时 fileReservedTime=120 #commitLog每一个文件的大小默认1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每一个文件默认存30W条,根据业务状况调整 mapedFileSizeConsumeQueue=300000 #destroyMapedFileIntervalForcibly=120000 #redeleteHangedFileInterval=120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio=88 #存储路径 storePathRootDir=/data/software/rocketmq/store #commitLog 存储路径 storePathCommitLog=/data/software/rocketmq/store/commitlog #消费队列存储路径存储路径 storePathConsumeQueue=/data/software/rocketmq/store/consumequeue #消息索引存储路径 storePathIndex=/data/software/rocketmq/store/index #checkpoint 文件存储路径 storeCheckpoint=/data/software/rocketmq/store/checkpoint #abort 文件存储路径 abortFile=/data/software/rocketmq/store/abort #限制的消息大小 maxMessageSize=65536 #flushCommitLogLeastPages=4 #flushConsumeQueueLeastPages=2 #flushCommitLogThoroughInterval=10000 #flushConsumeQueueThoroughInterval=60000 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=MASTER #要配置为MASTER或SLAVE的角色 #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=SYNC_FLUSH #checkTransactionMessageEnable=false #发消息线程池数量 #sendMessageThreadPoolNums=128 #拉消息线程池数量 #pullMessageThreadPoolNums