在团800运维工做总结之codis使用

Codis功能特色

Codis 是一个分布式 Redis 解决方案, 对于上层的应用来讲, 链接到 Codis Proxy 和链接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用能够像使用单机的 Redis 同样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工做, 全部后边的一切事情, 对于前面的客户端来讲是透明的, 能够简单的认为后边链接的是一个内存无限大的 Redis 服务.

须要说明的是codis我只是进行了线下测试，并未经过最终的讨论进行线上使用，具体缘由是codis的版本不更新所致使

Codis 由四部分组成:

· Codis Proxy (codis-proxy)

· Codis Manager (codis-config)

· Codis Redis (codis-server)

· ZooKeeper

codis-proxy 是客户端链接的 Redis 代理服务, codis-proxy 自己实现了 Redis 协议, 表现得和一个原生的 Redis 没什么区别 (就像 Twemproxy), 对于一个业务来讲, 能够部署多个 codis-proxy, codis-proxy 自己是无状态的.

codis-config 是 Codis 的管理工具, 支持包括, 添加/删除 Redis 节点, 添加/删除 Proxy 节点, 发起数据迁移等操做. codis-config 自己还自带了一个 http server, 会启动一个 dashboard, 用户能够直接在浏览器上观察 Codis 集群的运行状态.

codis-server 是 Codis 项目维护的一个 Redis 分支, 基于 2.8.21 开发, 加入了 slot 的支持和原子的数据迁移指令. Codis 上层的 codis-proxy 和 codis-config 只能和这个版本的 Redis 交互才能正常运行.

Codis 依赖 ZooKeeper 来存放数据路由表和 codis-proxy 节点的元信息, codis-config 发起的命令都会经过 ZooKeeper 同步到各个存活的 codis-proxy.

Codis 支持按照 Namespace 区分不一样的产品, 拥有不一样的 product name 的产品, 各项配置都不会冲突.

Codis还有一大特色因为是用go语言写的，proxy端支持多线程，表明能够充分利用服务器的cpu资源

 

 

使用机器

192.168.10.169   用途: proxy redis

192.168.10.170   用途: redis

 

架构说明

Proxy代理层: 192.168.10.169:19000

Codis实例层:

Group组至关于codis的分片机制

分为2组group，group_1和group_2

 

group_1中的机器  ip:192.168.10.169:6379  角色:master

                 ip:192.168.10.170:6379  角色:slave

 

group_2中的机器  ip:192.168.10.169:6380  角色:master

                 ip:192.168.10.170:6380  角色:slvae

 

Codis-ha 负责group中的从检测主挂掉后自动提高

 

 

 

功能测试脚本

1.连接codis的proxy代理，对codis集群进行读操做

 

 

2.连接codis的proxy代理，对codis集群进行写操做

 

 

功能测试点

 

1.断掉group_1中的master节点                                  

读是否出现异常:    否                

写是否出现异常:    否

 

2.同时断掉group_1和group_2中的master

读是否出现异常:    否

写是否出现异常:    否

 

3.同时断掉group_1和group_2中的slave

读是否出现异常:    否

写是否出现异常:    否

 

4.新增一组，把slot槽，从100-200的槽位迁移到新增组中

读是否出现异常:    否

写是否出现异常:    否

 

5.同时断掉group_1中的master和slave节点

读是否出现异常: 出现一部分访问报错

写是否出现异常: 否

 

 

目前手动操做的地方(如下操做能够编写脚本作成自动操做)

1.当group_1中的master断掉

操做步骤

(1).须要先从group_1中把挂掉的master节点删除掉

命令：

codis-config -c ../conf/config.ini server remove 1 192.168.10.170:6379

(2)把之前的master从新加进来换成slave节点

命令:

codis-config -c ../conf/config.ini server add 1 192.168.10.170:6379 slave

(3).若是group_1中有>=2个slave时，master断掉后，没有提高为master的slave仍是会同步断掉的master节点

(1).依次把slave从group_1中删除

(2).依次把slave节点加入group_1中

 

2.当group_1中的slave断掉,以后恢复后

(1).人为从新加入到group_1中

命令:

codis-config -c ../conf/config.ini server add 1 192.168.10.170:6379 slave

 

 

 

 

启动一组codis集群的顺序及解释

 

一、启动codis web页面 在zookeeper中注册codis组的节点

nohup ./bin/codis-config -c config.ini -L ./log/dashboard.log dashboard --addr=:18087 --http-log=./log/requests.log &>/dev/null

 

2.初始化slot

$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini slot init -f

 

3.添加codis组

codis-config -c /usr/local/codis/conf/config.ini server add-group 1

 

4.添加机器到codis组中

codis-config -c /usr/local/codis/conf/config.ini server add 2 192.168.10.170:6380 master

 

5.分槽

./bin/codis-config -c /etc/codis/config_10.ini slot range-set 0 300 1 online

 

6.生成一个proxy，把codis_proxy_1这个proxy名称注册到zookeeper中，并设置为offline状态

/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini proxy offline codis_proxy_1

 

7.启动proxy，代理端口为19000 http端口为11000

nohup /usr/local/codis/bin/codis-proxy --log-level info -c /usr/local/codis/conf/config.ini -L /usr/local/codis/logs/proxy.log  --cpu=8 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000 &

 

8.把proxy id为codis_proxy_1的proxy设置为online状态，可让客户端访问

/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini proxy online codis_proxy_1

 

9.启动codis-ha，用来作group中从自动提高为master用，并针对哪一个codis组名

nohup ./codis-ha --codis-config=127.0.0.1:18087 --productName=testgroup1 &

 

 

 

 

 

 

 

 

 

Codis命令总结

列出codis集群中的机器当前状态，并返回数组

Codis-config -c /usr/local/codis/conf/config.ini server list

 

 

添加redis实例到codis组中

Codis-config -c /usr/local/codis/conf/config.ini server add 1 192.168.10.169:6379 slave

 

删除redis实例从codis组中

Codis-config -c /usr/local/codis/conf/config.ini server remove 1 192.168.10.169:6379

 

添加codis组

Codis-config -c /usr/local/codis/conf/config.ini server add-group 1

 

删除codis组

Codis-config -c /usr/local/codis/conf/config.ini server remove-group 1

 

初始化slot

Codis-config -c /usr/local/codis/conf/config.ini slot init -f 

 

查看slot槽位1的信息

./codis-config -c /usr/local/codis/conf/config.ini slot info 1

 

 

 

分给组名为group_2 100-200分为的hash槽

./codis-config -c /usr/local/codis/conf/config.ini range-set 100 200 2 online