memcache集群服务:memagent配置使用

 

memcache集群服务:memagent配置使用  

2011-04-04 15:14:24|  分类: mem_squid_porxy |  标签:magent  memcached  root  text  stone  |字号 订阅php

 
 
magent是一款开源的memcached代理服务器软件
地址:  http://code.google.com/p/memagent/

安装magent到/usr/local/下
cd /usr/local
mkdir magent
cd magent/
wget http://memagent.googlecode.com/files/magent-0.5.tar.gz
tar zxvf magent-0.5.tar.gz
/sbin/ldconfig
sed -i "s/LIBS = -levent/LIBS = -levent -lm/g" Makefile
makehtml

magent命令参数:
-h this message
-u uid
-g gid
-p port, default is 11211. (0 to disable tcp support)
-s ip:port, set memcached server ip and port
-b ip:port, set backup memcached server ip and port
-l ip, local bind ip address, default is 0.0.0.0
-n number, set max connections, default is 4096
-D don't go to background
-k use ketama key allocation algorithm
-f file, unix socket path to listen on. default is off
-i number, max keep alive connections for one memcached server, default is 20
-v verbose前端

启动magent服务
magent -u root -n 4096 -l 127.0.0.1 -p 12000           -s 127.0.0.1:8086            -s 127.0.0.2:8086             -b 127.0.0.1:11213算法

magent的hash算法
magent采用的是:Consistent Hashing原理,Consistent Hashing以下所示:首先求出memcached服务器(节点)的哈希值, 并将其配置到0~232的圆(continuum)上。 而后用一样的方法求出存储数据的键的哈希值,并映射到圆上。 而后从数据映射到的位置开始顺时针查找,将数据保存到找到的第一个服务器上。 若是超过232仍然找不到服务器,就会保存到第一台memcached服务器上。

从上图的状态中添加一台memcached服务器。余数分布式算法因为保存键的服务器会发生巨大变化 而影响缓存的命中率,但Consistent Hashing中,只有在continuum上增长服务器的地点逆时针方向的 第一台服务器上的键会受到影响。后端

memcache集群服务:memagent配置使用 - zhuzhu - 五事九思

 利用magent实现对memecache的分布式管理,搭建一套memcache集群服务缓存


一、前端php对magent的访问跟对memcache访问相同,不须要作任何更改,对于插入的key,magent会把值散列到各个memcache服务上,只操做magent,不用关心后端处理
二、公司项目应用:南北各10台前端,南北各部署一套magent服务,主要是考虑电信网通的跨网访问
以北方为例,每一个前端安装memcached服务(大内存机器能够启动多个服务),每一个前端都安装magent服务,后端挂载所有机器的 memcached服务,启动参数:服务器

magent -p 12000 -s 127.0.0.1:8086 -s 127.0.0.2:8086 -s 127.0.0.3:8086.......-s 127.0.0.10:8086网络

,全部前端配置都是相同的,任何一个前端只需访问本地端口的magent,这样的memcache集群对应用带来很大便利.
好比项目的基本配置信息,早期策略只能在中控机生成配置文件,同步到各个前端,没有办法把配置信息放到缓存中,由于各个前端的memcache是不共享 的,一台机器缓存更新,其它机器是不更新的,用程序去控制更新,仍是存在不稳定因素,并且随着服务增多,也不便于管理,部署了magent后,就能够解决 这个问题,任何一个前端更新数据=全局更新
这种部署还能够解决的应用:session共享

项目中多处已经实际应用,magent对memcache的均衡和稳定性都很是不错,推荐使用session

from:http://hi.baidu.com/zhizhesky/blog/item/277886b118cf1b5a082302f6.html架构


 


magent是一款开源的Memcached代理服务器软件,能够用它作一些高可用尝试。

1、安装步骤:
一、编译安装libevent:
wget http://monkey.org/~provos/libevent-1.4.9-stable.tar.gz
tar zxvf libevent-1.4.9-stable.tar.gz
cd libevent-1.4.9-stable/
./configure --prefix=/usr
make && make install
cd ../

二、编译安装Memcached:
wget http://danga.com/memcached/dist/memcached-1.2.6.tar.gz
tar zxvf memcached-1.2.6.tar.gz
cd memcached-1.2.6/
./configure --with-libevent=/usr
make && make install
cd ../

三、编译安装magent:
mkdir magent
cd magent/
wget http://memagent.googlecode.com/files/magent-0.5.tar.gz
tar zxvf magent-0.5.tar.gz
/sbin/ldconfig
sed -i "s#LIBS = -levent#LIBS = -levent -lm#g" Makefile
make
cp magent /usr/bin/magent
cd ../

2、高可用网络架构

 

memcache集群服务:memagent配置使用 - zhuzhu - 五事九思

 
             服务器A                                    服务器B

启动两个memcached进程,端口分别为11211和11212:
memcached -m 1 -u root -d -l 127.0.0.1 -p 11211
memcached -m 1 -u root -d -l 127.0.0.1 -p 11212

启动两个magent进程,端口分别为10000和11000:
magent -u root -n 51200 -l 127.0.0.1 -p 10000 -s 127.0.0.1:11211 -b 127.0.0.1:11212
magent -u root -n 51200 -l 127.0.0.1 -p 11000 -s 127.0.0.1:11212 -b 127.0.0.1:11211
-s 为要写入的memcached, -b 为备份用的memcached。
说明:测试环境用magent和memached的不一样端口来实现,在生产环境中能够将magent和memached做为一组放到两台服务器上。

也就是说经过magent可以写入两个memcached。
[root@odb ~]# telnet 127.0.0.1 10000
Trying 127.0.0.1...
Connected to localhost.localdomain (127.0.0.1).
Escape character is '^]'.
set key 0 0 8                       <---在10000端口设置key的值
88888888
STORED
quit
Connection closed by foreign host.
[root@odb ~]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to localhost.localdomain (127.0.0.1).
Escape character is '^]'.
get key                     <---在11211端口获取key的值成功
VALUE key 0 8
88888888
END
quit
Connection closed by foreign host.
[root@odb ~]# telnet 127.0.0.1 11212
Trying 127.0.0.1...
Connected to localhost.localdomain (127.0.0.1).
Escape character is '^]'.
get key                     <---在11212端口获取key的值成功
VALUE key 0 8
88888888
END
quit
Connection closed by foreign host.

高可用性测试:
[root@odb ~]# ps aux |grep -v grep |grep memcached
root     23455  0.0  0.0  5012 1796 ?        Ss   09:22   0:00 memcached -m 1 -u root -d -l 127.0.0.1 -p 11212
root     24950  0.0  0.0  4120 1800 ?        Ss   10:58   0:00 memcached -m 1 -u root -d -l 127.0.0.1 -p 11211
[root@odb ~]# ps aux |grep -v grep |grep 'magent -u'
root     25919  0.0  0.0  2176  484 ?        Ss   12:00   0:00 magent -u root -n 51200 -l 127.0.0.1 -p 10000 -s 127.0.0.1:11211 -b 127.0.0.1:11212
root     25925  0.0  0.0  3004  484 ?        Ss   12:00   0:00 magent -u root -n 51200 -l 127.0.0.1 -p 11000 -s 127.0.0.1:11212 -b 127.0.0.1:11211
[root@odb ~]# telnet 127.0.0.1 10000
Trying 127.0.0.1...
Connected to localhost.localdomain (127.0.0.1).
Escape character is '^]'.
set stone 0 0 6                      <---在10000端口设置stone的值
123456
STORED
quit
Connection closed by foreign host.
[root@odb ~]# telnet 127.0.0.1 11000
Trying 127.0.0.1...
Connected to localhost.localdomain (127.0.0.1).
Escape character is '^]'.
set shidl 0 0 6                      <---在11000端口设置shidl的值
666666
STORED
get stone                      <---在11000端口获取stone的值成功
VALUE stone 0 6
123456
END
incr stone 2                      <---在11000端口修改stone的值成功
123458
get stone
VALUE stone 0 6                     <---在11000端口验证stone的值,证实上面的修改为功
123458
END
get shidl                      <---在11000端口获取shidl的值成功
VALUE shidl 0 6
666666
END
quit                     <---退出11000端口
Connection closed by foreign host.
[root@odb ~]# telnet 127.0.0.1 10000
Trying 127.0.0.1...
Connected to localhost.localdomain (127.0.0.1).
Escape character is '^]'.
get stone                      <---在10000端口获取stone的值,已被修改
VALUE stone 0 6
123458
END
get shidl                      <---在10000端口获取shidl的值成功
VALUE shidl 0 6
666666
END
delete shidl                      <---在10000端口删除shidl
DELETED
get shidl                      <---在10000端口删除shidl生效
END
quit
Connection closed by foreign host.
[root@odb ~]# telnet 127.0.0.1 11000
Trying 127.0.0.1...
Connected to localhost.localdomain (127.0.0.1).
Escape character is '^]'.
get shidl                      <---在11000端口验证删除shidl生效
END
get stone                      <---在11000端口获取stone的值成功
VALUE stone 0 6
123458
END
quit
Connection closed by foreign host.

Down机模拟测试:

Down掉11211端口的memcached:

[root@odb ~]# kill -9 24950
[root@odb ~]# telnet 127.0.0.1 10000
Trying 127.0.0.1...
Connected to localhost.localdomain (127.0.0.1).
Escape character is '^]'.
get stone                      <---在10000依然能够获取stone的值
VALUE stone 0 6
123458
END
quit
Connection closed by foreign host.
[root@odb ~]# telnet 127.0.0.1 11000
Trying 127.0.0.1...
Connected to localhost.localdomain (127.0.0.1).
Escape character is '^]'.
get stone                      <---在11000依然能够获取stone的值
VALUE stone 0 6
123458
END
quit
Connection closed by foreign host.

Down掉11000端口的magent:

[root@odb ~]# kill -9 25925
[root@odb ~]# telnet 127.0.0.1 10000
Trying 127.0.0.1...
Connected to localhost.localdomain (127.0.0.1).
Escape character is '^]'.
get stone                      <---在10000依然能够获取stone的值
VALUE stone 0 6
123458
END
quit
Connection closed by foreign host

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

magent使用

1、Linux环境下安装magent:
一、安装libevent:

wget http://monkey.org/~provos/libevent-1.4.13-stable.tar.gz
tar -xzvf libevent-1.4.13-stable.tar.gz
cd libevent-1.4.13-stable
./configure --prefix=/usr/local/libevent
make
make install

    

 

      二、安装Memcached:

wget http://memcached.googlecode.com/files/memcached-1.4.4.tar.gz
tar -xzvf memcached-1.4.4.tar.gz 
cd memcached-1.4.4
./configure --prefix=/usr/local/memcached --with-libevent=/usr/local/libevent
make
make install
ln -s /usr/local/libevent/lib/libevent-1.4.so.2 /usr/lib/

   三、编译安装magent:

 

mkdir magent
cp magent-0.5.tar.gz magent
cd magent
tar -xzvf magent-0.5.tar.gz 
/sbin/ldconfig
sed -i "s#LIBS = -levent#LIBS = -levent -lm#g" Makefile
vi magent.c 添加
    #include <limits.h>
make


 

 
1、使用实例:
 

 

memcached -m 1 -u root -d -l 192.168.1.219 -p 11211
memcached -m 1 -u root -d -l 192.168.1.219 -p 11212
memcached -m 1 -u root -d -l 192.168.1.219 -p 11213


magent -u root -n 51200 -l 192.168.1.219 -p 12000 -s 192.168.1.219:11211 -s 192.168.1.219:11212 -b 192.168.1.219:11213

 

 

 


      一、分别在112十一、112十二、11213端口启动3个Memcached进程,在12000端口开启magent代理程序;
二、112十一、11212端口为主Memcached,11213端口为备份Memcached;
三、链接上12000的magent,set key1和set key2,根据哈希算法,key1被写入11212和11213端口的Memcached,key2被写入11212和11213端口的Memcached;
四、当112十一、11212端口的Memcached死掉,链接到12000端口的magent取数据,数据会从11213端口的Memcached取出。
 
3、整个测试流程:
 

 

# telnet 192.168.1.219 12000
Trying 1192.168.1.219...
Connected to 192.168.1。219.
Escape character is '^]'.
stats
memcached agent v0.4
matrix 1 -> 192.168.1.219:11211, pool size 0
matrix 2 -> 192.168.1.219:11212, pool size 0
END
set key1 0 0 5
reesun
STORED
set key2 0 0 6
reesun1
STORED
quit
Connection closed by foreign host.


# telnet 192.168.1.219 11211
Trying 192.168.1.219...
Connected to 192.168.1.219.
Escape character is '^]'.
get key1
END
get key2
VALUE key2 0 6
reesun1
END
quit
Connection closed by foreign host.


# telnet 192.168.1.219 11212
Trying 192.168.1.219...
Connected to 1192.168.1.219.
Escape character is '^]'.
get key1
VALUE key1 0 5
reesun
END
get key2
END
quit
Connection closed by foreign host.


# telnet 192.168.1.219 11213
Trying 192.168.1.219...
Connected to 1192.168.1.219.
Escape character is '^]'.
get key1
VALUE key1 0 5
reesun
END
get key2
VALUE key2 0 6
reesun1
END
quit
Connection closed by foreign host.

 

@@@@@@@@@@@@@@@@@@@@@@@@@

用magent 为memcached集群

文章分类:综合技术

magent是一款开源的Memcached代理服务器软件,其项目网址为: http://code.google.com/p/memagent/ 
目前最新版本为0.6 
安装步骤: 
Java代码  复制代码  收藏代码
  1. # mkdir magent 
  2. # cp magent-0.6.tar.gz                ./magent   
  1. # cd magent   
  2. # tar -zvxf magent-0.6.tar.gz   
  3. # /sbin/ldconfig   
  4. # sed -i "s/LIBS = -levent/LIBS = -levent -lm/g"         Makefile    
  5.  
  6. # make   
  7. # cp magent /usr/bin/magent  


启动magent 
Java代码  复制代码  收藏代码

# cd /usr/bin   

# magent -u root -n 51200 -l 127.0.0.1 -p 12000 -s 10.1.1.1:11211 -s 10.1.1.2:11211  

-b 10.1.1.3:11211  

  1. -h this message   
  2. -u uid   
  3. -g gid   
  4. -p port, default is 11211. (0 to disable tcp support)   
  5. -s ip:port, set memcached server ip and port   
  6. -b ip:port, set backup memcached server ip and port   
  7. -l ip, local bind ip address, default is 0.0.0.0  
  8. -n number, set max connections, default is 4096  
  9. -D do not go to background   
  10. -k use ketama key allocation algorithm   
  11. -f file, unix socket path to listen on. default is off   
  12. -i number, max keep alive connections for one memcached server, default is 20  
  13. -v verbose  


测试安装: 
# telnet 127.0.0.1 12000 --若是能够访问,表示magent已经运行   
  1. 或者   
  2. # netstat -tln  --看12000端口是否被监听  
相关文章
相关标签/搜索