mamcached+（magent+keepalived高可用）搭建及理论概述

时间  2019-11-22
标签 mamcached magent+keepalived magent keepalived 可用 搭建 理论 概述 栏目 负载均衡 繁體版
原文   原文链接

目录前端

1、理论概述

Memcached服务器端与PHP-Memcache客户端安装配置_服务器应用_Linux公社-Linux系统门户网站
https://www.linuxidc.com/Linux/2017-11/148428.htmlinux

前端应用服务器或动态或静态，对数据库进行或读取，或写入的操做时。数据库扛不住这么大量查询请求后端真实数据库，因为咱们通常后端数据库采用的都是关系型数据库，属于写入到磁盘里的，磁盘的i/o很容易就达到瓶颈。大大的影响了速度web

因此咱们能够在数据库的前端搭建memcached，memcached是缓存数据库，不支持数据持久化，服务器重启，或者服务重启，内存数据所有丢失。可是近年来有一些技术大牛开发了一些memcached数据持久化的一些技术，如感兴趣可自行搜索，本案例主要是memcached案例算法

memcached高性能内存对象缓存系统，键值对存储方式，服务端默认经过11211端口工做，该缓存程序是典型的C/S架构，服务端是C语言开发的，客户端可使用多种语言开发数据库

缓存的数据量大道指定值或者过时以后基于LRU算法自动删除不是用的缓存。删除“最近最少使用”的记录的机制；当memcached指定的内存空间不足时，从其最近未被使用的记录中搜索，并将其空间分配给新的记录。能够禁止LRU功能，内存用尽，程序返回错误提示vim

工做流程

  1. 客户端经过浏览器发送请求到前端web服务器，因为是动态网页的话调用PHP来处理，PHP服务器调用memcached客户端程序库接口，由其来链接memcached服务器。
  2. 若memcached有其请求的数据缓存，则返回给PHP服务器；若没有，则由memcached客户端程序将请求直接转发给后端的数据库服务器，数据库服务器将数据返回给memcached客户端程序，再返回给PHP服务器；同事memcached客户端程序将该数据缓存到memcached服务器，下次使用以便更快速

2、部署

环境

主机名 IP地址 角色信息
web 192.168.111.3 该主机上部署telnet程序进行测试
memcached1 192.168.111.4 该主机只部署memcached，magent，keepalived
memcached2 192.168.111.5 该主机只部署memcached，magent，keepalived
VIP 192.168.111.100 magent的VIP

环境概述

  • 全部主机开放相应端口，或者直接关闭防火墙和selinux
  • 已经有epel源
  • 生产环境一半都是由PHP程序链接memcache程序，memcache链接magent，由magent进行分布式写入memcached，测试环境咱们可使用Telnet简单进行测试
  • 在memcached所在服务器部署magent+keepalived是作一个关于magent高可用；memcached随时分布式缓存数据库，可是他们自身之间并不能进行通讯；这里借助magent缓存代理这个开源工具，防止出现单点故障；部署keepalived是给magent自身作高可用
  • 这样能够实现，一台memcached服务器宕机，还有一台处于正常工做中。
  • 修复好的memcached禁止马上启动memcached服务，加入集群；刚修复好的，内存里面几乎为空，解决办法是能够等到业务低峰期加入集群。或者是经过代码先进性数据库的预热，将后端数据库相应数据加载到自身内存中再加入集群。

部署

  • Telnet客户端程序部署
[root@localhost ~]# yum -y install telnet
  • 部署memcached及magent和keepalived
两台机器同样

[root@memcached1 ~]# yum -y install libevent
[root@memcached1 ~]# rpm -ql libevent-2.0.21-4.el7.x86_64
/usr/lib64/libevent-2.0.so.5
/usr/lib64/libevent-2.0.so.5.1.9
/usr/lib64/libevent_core-2.0.so.5
/usr/lib64/libevent_core-2.0.so.5.1.9
/usr/lib64/libevent_extra-2.0.so.5
/usr/lib64/libevent_extra-2.0.so.5.1.9
/usr/lib64/libevent_openssl-2.0.so.5
/usr/lib64/libevent_openssl-2.0.so.5.1.9
/usr/lib64/libevent_pthreads-2.0.so.5
/usr/lib64/libevent_pthreads-2.0.so.5.1.9
/usr/share/doc/libevent-2.0.21
/usr/share/doc/libevent-2.0.21/ChangeLog
/usr/share/doc/libevent-2.0.21/LICENSE
/usr/share/doc/libevent-2.0.21/README

[root@memcached1 ~]# yum -y install memcached

[root@memcached1 ~]# memcached -d -m 32m -p11211 -u root
[root@memcached1 ~]# netstat -lnpt | grep 11211
tcp        0      0 0.0.0.0:11211           0.0.0.0:*               LISTEN      58821/memcached     
tcp6       0      0 :::11211                :::*                    LISTEN      58821/memcached     

#-d：以守护进程方式启动
#-m：分配给memcached内存使用量，默认为64m
#-u：运行该程序的用户
#-p：指定开放那个端口提供服务

#mkdir magent
[root@memcached1 ~]# tar zxf magent-0.5.tar.gz -C magent/ 

[root@memcached1 ~]# vim ketama.h 
#ifndef SSIZE_MAX
#define SSIZE_MAX 32767
#endif
#添加到文件开始

[root@memcached1 ~]# sed -i '1 s/$/ -lm/' Makefile 
[root@memcached1 ~]# head -1 Makefile 
LIBS = -levent -lm

#tar zxf libevent* 
#cd libevent*
#./configure --prefix=/usr/ && make && make install

[root@memcached1 magent]# scp magent 192.168.111.5:/usr/bin/

[root@memcached1 magent]# cp magent /usr/bin/

[root@memcached1 magent]# chmod +x /usr/bin/magent 
#对端机器同样加执行权限
#yum -y install keepalived

cat /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   script_user root
   #须要制定脚本运行用户
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
   vrrp_skip_check_adv_addr
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}
vrrp_script check_m {
    script "/opt/magent.sh"
    interval 2
    weight 20

}

vrrp_instance VI_1 {
    state MASTER
    interface ens32
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.111.100/32 dev ens32 label ens32:2
    }
    track_script {
    check_m
    } 
    #这个配置要包括到"vrrp_instance"中去
}

memcached2:

[root@memcached2 ~]# cat /etc/keepalived/keepalived.conf 
! Configuration File for keepalived

global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   script_user root
   #须要制定脚本运行用户
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id LVS_DEVELa
   vrrp_skip_check_adv_addr
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}
vrrp_script check_m {
    script "/opt/magent.sh"
    interval 2
    weight 20

}

vrrp_instance VI_1 {
    state BACKUP
    interface ens32
    virtual_router_id 51
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.111.100/32 dev ens32 label ens32:2
    }
    track_script {
    check_m
    } 
    #这个配置要包括到"vrrp_instance"中去
}

[root@memcached1 ~]# systemctl start keepalived.service 

[root@memcached1 ~]# ip a | grep ens32:2
    inet 192.168.111.100/32 scope global ens32:2

编写监控magent使用到的脚本
主：
[root@memcached1 ~]# vim /opt/magent.sh

#!/bin/bash 
k=`ps -ef |grep keepalived |grep -v grep |wc -l`
if [ $k -gt 0 ];then
    magent -u root -n 51200 -l 192.168.111.100 -p 12000 -s 192.168.111.4:11211 -b 192.168.111.5:11211
#-u指定运行magent程序的用户；-n最大链接数，默认4096；-lmagent对外坚挺ip；-pmagent对外监听端口；-smemcached朱缓存IP地址；-bmemcached被缓存IP地址
else
    pkill -9 magent
fi


备：
[root@memcached2 ~]# vim /opt/magent.sh 

#!/bin/bash 
k=`ip a |grep 192.168.111.100 |wc -l`
if [ $k -gt 0 ];then
    magent -u root -n 51200 -l 192.168.111.100 -p 12000 -s 192.168.111.4:11211 -b 192.168.111.5:11211
#若是VIP地址转移到本机了，启动magent程序，不然magent出于关闭状态
else
    pkill -9 magent
fi

[root@memcached1 ~]# chmod +x /opt/magent.sh

[root@memcached1 ~]# systemctl restart keepalived.service 
[root@memcached1 ~]# ps aux | grep magent
root      71271  0.0  0.0  11948   336 ?        Ss   18:58   0:00 magent -u root -n 51200 -l 192.168.111.100 -p 12000 -s 192.168.111.4:11211 -b 192.168.111.5:11211
#程序已经运行，此时对端该程序没有运行

[root@memcached1 ~]# netstat -lnpt | grep 12000 tcp        0      0 192.168.111.100:12000   0.0.0.0:*               LISTEN      71271/magent

3、测试

  • 模拟故障
主上关掉keepalived，即magent没有了对外监听的ip：
[root@memcached1 ~]# systemctl stop keepalived.service 

从上查看：
[root@memcached2 ~]# ps aux | grep magent
root      67100  0.0  0.0  11948   340 ?        Ss   04:46   0:00 magent -u root -n 51200 -l 192.168.111.100 -p 12000 -s 192.168.111.4:11211 -b 192.
168.111.5:11211root      67254  0.0  0.0 112720   984 pts/0    R+   04:47   0:00 grep --color=auto magent
[root@memcached2 ~]# ip a| grep ens32:2
    inet 192.168.111.100/32 scope global ens32:2
  • 测试分布式写入
[root@localhost ~]# telnet 192.168.111.100 12000
Trying 192.168.111.100...
Connected to 192.168.111.100.
Escape character is '^]'.
set test 0 0 5
nihao
STORED
get test
VALUE test 0 5
nihao
END

如今直接链接真实memcached数据库看是否有数据

[root@localhost ~]# telnet 192.168.111.4 11211
Trying 192.168.111.4...
Connected to 192.168.111.4.
Escape character is '^]'.
get test
VALUE test 0 5
nihao
END
quit
Connection closed by foreign host.

[root@localhost ~]# telnet 192.168.111.5 11211
Trying 192.168.111.5...
Connected to 192.168.111.5.
Escape character is '^]'.
get test
VALUE test 0 5
nihao
END

4、总结

    1. keepalived和memcached没有任何关系，他只是作magent高可用
相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程