本篇是初次学习消息队列整理的一些笔记,分享给初学者,祝你们学有所获。数据库
1、消息队列简介
百度百科
消息队列概念
服务器
- MQ全称为
Message Queue
,消息队列(MQ)是一种应用程序对应用程序的通讯方法
。应用程序经过读写出入队列的消息(针对应用程序的数据)来通讯,而无需专用链接来连接它们。 - 消息传递指的是程序之间经过在消息中发送数据进行通讯,而不是经过直接调用彼此来通讯,直接调用一般是用于诸如远程过程调用的技术。排队指的是应用程序经过队列来通讯。队列的使用除去了接收和发送应用程序同时执行的要求。
消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题架构
2、解耦
- 传统作法
- 传统的作法是,订单系统调用库存系统的接口。以下图:
- 传统模式的缺点:假如库存系统没法访问,则订单减库存将失败,从而致使订单失败,订单系统与库存系统耦合
- 传统的作法是,订单系统调用库存系统的接口。以下图:
如何解决以上问题呢?异步
- 使用消息队列
-
引入应用消息队列后的方案,以下图:
分布式 -
订单系统:用户下单后,订单系统完成持久化处理,将消息写入消息队列,返回用户订单下单成功学习
-
库存系统:订阅下单的消息,采用拉/推的方式,获取下单信息,库存系统根据下单信息,进行库存操做spa
-
在下单时库存系统不能正常使用。也不影响正常下单,由于下单后,订单系统写入消息队列就再也不关心其余的后续操做了。实现订单系统与库存系统的应用解耦.3d
-
举个新例子:
日志
好比说某一个系统A要与其余系统打交道(即调用其中的方法),若是其它系统改变或者新增系统,那么A系统都会改变,这样的话耦合度比较高,比较麻烦。code
使用消息队列来解决这个问题。
咱们A系统将产生的数据发入消息队列中,其它的系统再去消息队列来进行消费,那么其余系统的减小或者新增系统即与A系统关系不大了,这样来实现解耦的功能。
3、异步
场景说明:用户注册后,须要发注册邮件和注册短信
- 传统作法
- a.串行:将注册信息写入数据库成功后,发送注册邮件,再发送注册短
- b.并行:将注册信息写入数据库成功后,发送注册邮件的同时,发送注册短信
- a.串行:将注册信息写入数据库成功后,发送注册邮件,再发送注册短
- 使用消息队列
- 将不是必须的业务逻辑,异步处理。改造后的架构以下:
- 将不是必须的业务逻辑,异步处理。改造后的架构以下:
举个新例子
某一个用户使用系统A,可是A要调用系统B,C,D,可是每个系统返回的时间是不同的,你必需要等待所有返回后才能够响应用户。
若是咱们这里采用消息队列,当用户发送请求后,咱们把数据传给消息队列,而后再直接响应给用户我已经发送了信息。
4、流量削峰
场景说明:商品秒杀业务,通常会由于流量过大,致使流量暴增,应用挂掉
-
传统作法
- 限制用户数量
-
使用消息队列
-
用户的请求,服务器接收后,首先写入消息队列,秒杀业务
-
假如消息队列长度超过最大数量,则直接抛弃用户请求或跳转到错误页面。
-
举个新例子
好比日常用户的请求咱们会直接访问数据库,在大量用户过来的时候,这样的话咱们会对数据库照常比较大的压力
在这里咱们增长一个消息队列,这样的话无论你请求来多少,我先存入消息队列,而后我再让系统慢慢的处理你的请求(如右图),这样很好的减缓了数据库的访问压力。
5、消息通信
消息通信是指,消息队列通常都内置了高效的通讯机制,所以也能够用在纯的消息通信。好比实现点对点消息队列,或者聊天室等
-
使用消息队列实现点对点通讯
- 客户端A和客户端B使用同一队列,进行消息通信
- 客户端A和客户端B使用同一队列,进行消息通信
-
使用消息队列实现聊天室通讯
- 客户端A,客户端B,客户端N订阅同一主题,进行消息发布和接收。实现相似聊天室效果。
- 客户端A,客户端B,客户端N订阅同一主题,进行消息发布和接收。实现相似聊天室效果。
6、日志处理
日志处理是指将消息队列用在日志处理中,好比Kafka的应用,解决大量日志传输的问题
- 使用消息队列完成日志处理
- 日志采集客户端,负责日志数据采集,定时写受写入Kafka队列
- Kafka消息队列,负责日志数据的接收,存储和转发
- 日志处理应用:订阅并消费kafka队列中的日志数据
七 .使用消息队列带来的一些问题
一、系统可用性下降:
系统可用性在某种程度上下降,为何这样说呢?在加入MQ以前,你不用考虑消息丢失或者说MQ挂掉等等的状况,可是,引入MQ以后你就须要去考虑了!
二、系统复杂性提升:
加入MQ以后,你须要保证消息没有被重复消费、处理消息丢失的状况、保证消息传递的顺序性等等问题!
三、一致性问题:
我上面讲了消息队列能够实现异步,消息队列带来的异步确实能够提升系统响应速度。可是,万一消息的真正消费者并无正确消费消息怎么办?这样就会致使数据不一致的状况了。
The best investment is to invest in yourself
2020.05.16 记录辰兮的第66篇博客