云计算OpenStack共享组件---信息队列rabbitmq（2）

1、MQ 全称为 Message Queue, 消息队列（ MQ ）

　　是一种应用程序对应用程序的通讯方法。应用程序经过读写出入队列的消息（针对应用程序的数据）来通讯，而无需专用链接来连接它们。

　　消息传递指的是程序之间经过在消息中发送数据进行通讯，而不是经过直接调用彼此来通讯，直接调用一般是用于诸如远程过程调用的技术。排队指的是应用程序经过队列来通讯。队列的使用除去了接收和发送应用程序同时执行的要求。

　　排队指的是应用程序经过 队列来通讯。队列的使用除去了接收和发送应用程序同时执行的要求。

2、AMQP  即 Advanced Message Queuing Protocol

　　高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。消息中间件主要用于组件之间的解耦，消息的发送者无需知道消息使用者的存在，反之亦然。

AMQP 的主要特征是面向消息、队列、路由（包括点对点和发布 / 订阅）、可靠性、安全。

3、 Rabbitmq概念：

       属于一个流行的开源消息队列系统。属于AMQP( 高级消息队列协议 ) 标准的一个 实现。是应用层协议的一个开放标准，为面向消息的中间件设计。用于在分布式系统中存储转发消息，在 易用性、扩展性、高可用性等方面表现不俗。

       消息中间件主要用于组件之间的解耦，消息的发送者无需知道消息使用者的存在，反之亦然。
       AMQP 的主要特征是面向消息、队列、路由（包括点对点和发布 / 订阅）、可靠性、安全。

       RabbitMQ特色：
  　　　　使用Erlang编写
  　　　　支持持久化
  　　　　支持HA
  　　　　提供C# , erlang，java，perl，python，ruby等的client开发端

4、什么是耦合、解耦合

（一）、耦合
　　一、耦合是指两个或两个以上的体系或两种运动形式间经过相互做用而彼此影响以致联合起来的现象。

　　二、在软件工程中，对象之间的耦合度就是对象之间的依赖性。对象之间的耦合越高，维护成本越高，所以对象的设计应使类和构件之间的耦合最小。

　　三、分类：有软硬件之间的耦合，还有软件各模块之间的耦合。耦合性是程序结构中各个模块之间相互关联的度量。它取决于各个模块之间的接口的复杂程度、调用模块的方式以及哪些信息经过接口。

（二）、解耦
　　一、解耦，字面意思就是解除耦合关系。

　　二、在软件工程中，下降耦合度便可以理解为解耦，模块间有依赖关系必然存在耦合，理论上的绝对零耦合是作不到的，但能够经过一些现有的方法将耦合度降至最低。

　　三、设计的核心思想：尽量减小代码耦合，若是发现代码耦合，就要采起解耦技术。让数据模型，业务逻辑和视图显示三层之间彼此下降耦合，把关联依赖降到最低，而不至于牵一发而动全身。原则就是A功能的代码不要写在B的功能代码中，若是二者之间须要交互，能够经过接口，经过消息，甚至能够引入框架，但总之就是不要直接交叉写。

5、RabbitMQ中的概念名词

Broker：简单来讲就是消息队列服务器实体。

Exchange：消息交换机，它指定消息按什么规则，路由到哪一个队列。

Queue：消息队列载体，每一个消息都会被投入到一个或多个队列。

Binding：绑定，它的做用就是把exchange和queue按照路由规则绑定起来。

Routing Key：路由关键字， exchange根据这个关键字进行消息投递。

vhost：虚拟主机，一个broker里能够开设多个vhost，用做不一样用户的权限分离。

producer：消息生产者，就是投递消息的程序。

consumer：消息消费者，就是接受消息的程序。

channel：消息通道，在客户端的每一个链接里，可创建多个channel，每一个channel表明一个会话任务。

6、RabbitMQ工做理

　　MQ 是消费 - 生产者模型的一个典型的表明，一端往消息队列中不断写入消息，而另外一端则能够读取或者订阅队列中的消息。 MQ 则是遵循了 AMQP协议的具体实现和产品。在项目中，将一些无需即时返回且耗时的操做提取出来，进行了异步处理，而这种异步处理的方式大大的节省了服务器的请求响应时间，从而提升了系统的吞吐量。

（ 1）客户端链接到消息队列服务器，打开一个channel。

（ 2）客户端声明一个exchange，并设置相关属性。

（ 3）客户端声明一个queue，并设置相关属性。

（ 4）客户端使用routing key，在exchange和queue之间创建好绑定关系。

（ 5）客户端投递消息到exchange。

（ 6） exchange接收到消息后，就根据消息的key和已经设置的binding，进行消息路由，将消息投递到一个或多个队列里

7、Rabbitmq 的 metadata

 元数据能够持久化在 RAM 或 Disc。从这个角度能够把 RabbitMQ 集群中的节点分红两种 ：RAM Node和 Disk Node.

       RAM Node 只会将元数据存放在RAM

       Disk node 会将元数据持久化到磁盘。 

　　单节点系统就没有什么选择了 , 只容许 disk node, 不然因为没有数据冗余一旦重启就会丢掉全部的配置信息 . 但在集群环境中能够选择哪些节点是 RAM node.在集群中声明(declare) 建立 exchange queue binding, 这类操做要等到全部的节点都完成建立才会返回 :
       若是是内存节点就要修改内存数据 ,
       若是是 disk node 就要等待写磁盘 , 节点过多这里的速度就会被大大的拖慢 。

　　有些场景 exchang queue 至关固定 , 变更不多 ,那即便全都是 disc node, 也没有什么影响 . 若是使用 Rabbitmq 作 RPC（ RPC :Remote Procedure Call—远程过程调用）,  RPC 或者相似 RPC 的场景这个问题就严重了 , 频繁建立销毁临时队列 , 磁盘读写能力就很快成为性能瓶颈了。因此 , 大多数状况下 , 咱们尽可能把 Node 建立为RAM Node. 这里就有一个问题了 , 要想集群重启后元数据能够恢复就须要把集群元数据持久化到磁盘 , 那须要规划 RabbitMQ 集群中的 RAM Node 和 Disc Node 。

　　只要有一个节点是 Disc Node 就能提供条件把集群元数据写到磁盘 ,RabbitMQ 的确也是这样要求的 : 集群中只要有一个 disk node 就能够 , 其它的均可以是 RAM node. 节点加入或退出集群必定至少要通知集群中的一个 disk node 。

　　若是集群中 disk node 都宕掉 , 就不要变更集群的元数据 . 声明 exchange queue 修改用户权限 , 添加用户等等这些变更在节点重启以后没法恢复 。

　　有一种状况要求全部的 disk node 都要在线状况在才能操做 , 那就是增长或者移除节点 。RAM node 启动的时候会链接到预设的 disk node 下载最新的集群元数据 . 若是你有两个 disk node(d1 d2), 一个 RAM node 加入的时候你只告诉 d1, 而刚好这个 RAM node 重启的时候 d1 并无启动 , 重启就会失败 . 因此加入 RAM 节点的时候 , 把全部的disk node 信息都告诉它 ,RAM node 会把 disk node 的信息持久化到磁盘以便后续启动能够按图索骥 .

8、Rabbitmq 集群部署

一、前期准备

（1）条件：准备3台Linux系统，确保配置好网络源及epel源

（2）三台机器可以静态解析彼此（/etc/hosts）

（3）设置能够免密登陆（ssh-keygen；ssh-copy-id）

二、安装部署过程

（1）全部节点都安装rabbitmq和erlang软件包：

yum install -y erlang rabbitmq-server.noarch

systemctl start rabbitmq-server.service
systemctl enable rabbitmq-server.service
systemctl status rabbitmq-server.service

查看监听的端口：

netstat -lantp | grep 5672

配置文件：

vim /etc/rabbitmq/rabbitmq.config

（2）节点1：编辑rabbitmq变量文件

[root@ren3 ~]# vim /etc/rabbitmq/rabbitmq-env.conf RABBITMQ_NODE_PORT=5672 ulimit -S -n 4096 RABBITMQ_SERVER_ERL_ARGS="+K true +A30 +P 1048576 -kernel inet_default_connect_options [{nodelay,true},{raw,6,18,<<5000:64/native>>}] -kernel inet_default_listen_options [{raw,6,18,<<5000:64/native>>}]" RABBITMQ_NODE_IP_ADDRESS=192.168.11.3

（3）节点1：将rabbitmq变量文件拷贝到其余两个节点上，以后修改相应节点的IP

scp /etc/rabbitmq/rabbitmq-env.conf ren4:/etc/rabbitmq/
scp /etc/rabbitmq/rabbitmq-env.conf ren5:/etc/rabbitmq/

查看rabbitmq插件：

/usr/lib/rabbitmq/bin/rabbitmq-plugins list

（4）全部节点开启rabbitmq的web管理页面

/usr/lib/rabbitmq/bin/rabbitmq-plugins enable rabbitmq_management mochiweb webmachine rabbitmq_web_dispatch amqp_client rabbitmq_management_agent

或者

rabbitmq-plugins enable rabbitmq_management

重启服务

systemctl restart rabbitmq-server.service
systemctl status rabbitmq-server.service

查看端口

[root@ren3 ~]# ss -tnl State Recv-Q Send-Q Local Address:Port Peer Address:Port LISTEN 0      128    192.168.11.3:5672                 *:* LISTEN 0      128      *:25672                *:* LISTEN 0      128      *:4369                 *:* LISTEN 0      128      *:22                   *:* LISTEN 0      128      *:15672                *:* LISTEN 0      100    127.0.0.1:25                   *:* LISTEN 0      128     :::22                  :::* LISTEN 0      100    ::1:25                  :::*        

添加防火墙规则

firewall-cmd --add-port=5672/tcp
firewall-cmd --add-port=15672/tcp
firewall-cmd --add-port=25672/tcp
firewall-cmd --add-port=4369/tcp

登陆验证：http://192.168.11.3:15672/#/　　（用户名默认：guest；密码默认：guest）

（5）节点1发送erlang.cookie到其余节点，来配置集群（节点1为主节点）

查看节点状态

rabbitmqctl status

拷贝erlang.cookie到其余节点

scp /var/lib/rabbitmq/.erlang.cookie ren4:/var/lib/rabbitmq/.erlang.cookie
scp /var/lib/rabbitmq/.erlang.cookie ren5:/var/lib/rabbitmq/.erlang.cookie

（6）节点2和节点3中止应用，并以ram的方式加入节点1，以后重启应用

systemctl restart rabbitmq-server.service

rabbitmqctl stop_app
rabbitmqctl join_cluster --ram rabbit@ren3
rabbitmqctl start_app

（7）节点1检查集群状态

[root@ren3 mnesia]# rabbitmqctl cluster_status Cluster status of node rabbit@ren3 ... [{nodes,[{disc,[rabbit@ren3,rabbit@ren5]},{ram,[rabbit@ren4]}]}, {running_nodes,[rabbit@ren4,rabbit@ren5,rabbit@ren3]}, {cluster_name,<<"rabbit@ren3">>}, {partitions,[]}, {alarms,[{rabbit@ren4,[]},{rabbit@ren5,[]},{rabbit@ren3,[]}]}]

（8）登陆验证：http://192.168.11.3:15672/#/　　（guest/guest）

三、其余命令：

（1）修改guest密码为admin（默认用户为：guest 密码为：guest）

rabbitmqctl change_password guest admin

（2）添加一个openstack的用户，并设置密码为admin。而且设置权限和成为管理员：

rabbitmqctl add_user openstack admin rabbitmqctl set_permissions openstack ".*" ".*" ".*" rabbitmqctl set_user_tags openstack administrator

（3）添加管理员：

rabbitmqctl add_user mqadmin mqadmin rabbitmqctl set_user_tags mqadmin administrator rabbitmqctl set_permissions -p / mqadmin ".*" ".*" ".*"

（4）更改节点类型（内存型或者磁盘型）

rabbitmqctl stop_app
rabbitmqctl change_cluster_node_type disc 或 rabbitmqctl change_cluster_node_type ram
rabbitmqctl start_app

（5）从集群移除节点（或者重置节点）

rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl start_app
rabbitmqctl cluster_status

（6）从某个节点移除集群中其它节点

rabbitmqctl forget_cluster_node rabbit@ren5
rabbitmqctl reset
rabbitmqctl start_app
rabbitmqctl cluster_status

四、注意事项

（1）保证集群中至少有一个磁盘类型的节点以防数据丢失，在更改节点类型时尤为要注意。

（2）若整个集群被停掉了，应保证最后一个 down 掉的节点被最早启动，若不能则要使用 forget_cluster_node 命令将其移出集群

（3）若集群中节点几乎同时以不可控的方式 down 了此时在其中一个节点使用 force_boot 命令重启节点

（4）rabbitmq启动不起来时能够的操做：检查静态解析、删除/vat/lib/rabbitmq下的全部文件从新搭建