redis运维工具
1、Redis 集群经常使用命令
1.集群(cluster)
CLUSTER INFO #打印集群的信息 CLUSTER NODES #列出集群当前已知的全部节点（node），以及这些节点的相关信息。
2.节点(node)
CLUSTER MEET <ip> <port> #将 ip 和 port 所指定的节点添加到集群当中，让它成为集群的一份子。 CLUSTER FORGET <node_id> #从集群中移除 node_id 指定的节点。 CLUSTER REPLICATE <node_id> #将当前节点设置为 node_id 指定的节点的从节点。 CLUSTER SAVECONFIG #将节点的配置文件保存到硬盘里面。
3.槽(slot)
CLUSTER ADDSLOTS <slot> [slot ...] #将一个或多个槽（slot）指派（assign）给当前节点。 CLUSTER DELSLOTS <slot> [slot ...] #移除一个或多个槽对当前节点的指派。 CLUSTER FLUSHSLOTS #移除指派给当前节点的全部槽，让当前节点变成一个没有指派任何槽的节点。 CLUSTER SETSLOT <slot> NODE <node_id> #将槽slot指派给node_id指定的节点，若是槽已经指派给另外一个节点，那么先让另外一个节点删除该槽>，而后再进行指派。 CLUSTER SETSLOT <slot> MIGRATING <node_id> #将本节点的槽 slot 迁移到 node_id 指定的节点中。 CLUSTER SETSLOT <slot> IMPORTING <node_id> #从 node_id 指定的节点中导入槽 slot 到本节点。 CLUSTER SETSLOT <slot> STABLE #取消对槽 slot 的导入（import）或者迁移（migrate）。
4.键 (key)
CLUSTER KEYSLOT <key> #计算键 key 应该被放置在哪一个槽上。 CLUSTER COUNTKEYSINSLOT <slot> #返回槽 slot 目前包含的键值对数量。 CLUSTER GETKEYSINSLOT <slot> <count> #返回 count 个 slot 槽中的键。
2、Redis 运维工具
1.数据导入导出工具
需求背景node
刚切换到 redis集群的时候确定会面临数据导入的问题,因此这里推荐使用 redis-migrate-tool 工具来导 入单节点数据到集群里python
官方地址： http://www.oschina.net/p/redis-migrate-toolgit
# 1.安装工具
yum install libtool autoconf automake git bzip2 -y
cd /opt/
git clone https://github.com/vipshop/redis-migrate-tool.git
cd redis-migrate-tool/
autoreconf -fvi
./configure
make && make install
# 2.编写配置文件
cat > 6379_to_6380.conf << EOF
[source]
type: single
servers:
- 10.0.0.51:6379
[target]
type: redis cluster
servers:
- 10.0.0.51:6380
[common]
listen: 0.0.0.0:8888
source_safe: true
EOF
# 3.单节点生成测试数据
redis-server /opt/redis_6379/conf/redis_6379.conf
cat >input_6379.sh<<EOF
#!/bin/bash
for i in {1..1000}
do
redis-cli -c -h db01 -p 6379 set oldzhang_\${i} oldzhang_\${i}
echo "set oldzhang_\${i} is ok"
done
EOF
sh input_6379.sh
# 4.运行工具迁移单节点数据到集群
redis-migrate-tool -c 6379_to_6380.conf
# 5.运行工具验证数据是否迁移完成
redis-migrate-tool -c 6379_to_6380.conf -C redis_check
# 6.数据平均
redis-cli -c -h 10.0.0.51 -p 6380
db01:6380>
337)
db02:6380>
340)
db03:6380>
329)
注意主从关系 若是51:6379是从库 测试数据写不进去 从新指向主库github
2.RDB文件迁移到集群
# 1.先把集群的RDB文件都收集起来 - 在从节点上执行bgsave命令生成RDB文件 redis-cli -h 10.0.0.51 -p 6381 BGSAVE redis-cli -h 10.0.0.52 -p 6381 BGSAVE redis-cli -h 10.0.0.53 -p 6381 BGSAVE # 2.把从节点生成的RDB文件拉取过来 mkdir rdb_backup cd rdb_backup/ scp 10.0.0.51:/data/redis_6381/redis_6381.rdb db01_6381.rdb scp 10.0.0.52:/data/redis_6381/redis_6381.rdb db02_6381.rdb scp 10.0.0.53:/data/redis_6381/redis_6381.rdb db03_6381.rdb # 3.清空数据 redis-cli -c -h 10.0.0.51 -p 6380 flushall redis-cli -c -h 10.0.0.52 -p 6380 flushall redis-cli -c -h 10.0.0.53 -p 6380 flushall # 4.编写配置文件 cat >rdb_to_cluter.conf <<EOF [source] type: rdb file servers: - /root/rdb_backup/db01_6381.rdb - /root/rdb_backup/db02_6381.rdb - /root/rdb_backup/db03_6381.rdb [target] type: redis cluster servers: - 10.0.0.51:6380 [common] listen: 0.0.0.0:8888 source_safe: true EOF # 5.使用工具导入 redis-migrate-tool -c rdb_to_cluter.conf # 6.运行工具验证数据是否迁移完成 redis-migrate-tool -c 6379_to_6380.conf -C redis_check # 7.数据平均 redis-cli -c -h 10.0.0.51 -p 6380 db01:6380> 337) db02:6380> 340) db03:6380> 329)
3.分析键值大小
**需求背景 ** redis 的内存使用太大键值太多,不知道哪些键值占用的容量比较大,并且在线分析会影响性能.redis
# 1.安装命令:
[root@db01 ~]# yum install python-pip gcc python-devel -y
[root@db01 ~]# cd /opt/
[root@db01 ~]# git clone https://github.com/sripathikrishnan/redis-rdb-tools
[root@db01 ~]# cd redis-rdb-tools
[root@db01 ~]# pip install python-lzf
[root@db01 ~]# python setup.py install
# 2.生成测试数据:
[root@db01 ~]# vim txt.txt
乱七八糟写进去
[root@db01 ~]# redis-cli -h db01 -p 6379 set txt $(cat txt.txt)
# 3.执行bgsave生成rdb文件
[root@db01 ~]# redis-cli -h db01 -p 6379 BGSAVE
# 4.使用工具分析:
[root@db01 ~]# cd /data/redis_6379/
[root@db01 /data/redis_6379]# rdb -c memory redis_6379.rdb -f redis_6379.rdb.csv
[root@db01 /data/redis_6379]# ll
-rw-r--r-- 1 root root 39010 Jan 3 16:46 redis_6379.rdb.csv
# 5.过滤分析
[root@db01 /data/redis_6379]# awk -F"," '{print $4,$3}' redis_6379.rdb.csv |sort -r
1328 txt
# 6.将结果整理汇报给领导,询问开发这个key是否能够删除
一些其余工具算法
# 使用工具将rdb转换成json [root@db01 /data/redis_6379]# rdb --command json redis_6379.rdb -f redis_6379.rdb.json [root@db01 /data/redis_6379]# ll total 208 -rw-r--r-- 1 root root 103018 Jan 3 16:45 redis_6379.aof -rw-r--r-- 1 root root 26895 Jan 3 16:45 redis_6379.rdb -rw-r--r-- 1 root root 39010 Jan 3 16:46 redis_6379.rdb.csv -rw-r--r-- 1 root root 32852 Jan 3 16:53 redis_6379.rdb.json # 使用工具对比rdb文件差别 [root@db01 /data/redis_6379]# cd /root/rdb_backup [root@db01 ~/rdb_backup]# rdb --command diff db01_6381.rdb | sort > dump1.txt [root@db01 ~/rdb_backup]# rdb --command diff db02_6381.rdb | sort > dump2.txt [root@db01 ~/rdb_backup]# vimdiff dump1.txt dump2.txt
4.监控过时键
**需求背景 ** 由于开发重复提交，致使电商网站优惠卷过时时间失效 **问题分析 ** 若是一个键已经设置了过时时间，这时候在 set 这个键，过时时间就会取消json
**解决思路 ** 如何在不影响机器性能的前提下批量获取须要监控键过时时间 1.Keys * 查出来匹配的键名。而后循环读取 ttl 时间 2.scan * 范围查询键名。而后循环读取 ttl 时间vim
Keys 重操做，会影响服务器性能，除非是不提供服务的从节点 Scan 负担小，可是须要去屡次才能取完，须要写脚本ruby
脚本内容bash
cat 01get_key.sh
#!/bin/bash
key_num=0
> key_name.log
for line in $(cat key_list.txt)
do
while true
do
scan_num=$(redis-cli -h 10.0.0.51 -p 6380 SCAN ${key_num} match ${line}\* count
1000|awk 'NR==1{print $0}')
key_name=$(redis-cli -h 10.0.0.51 -p 6380 SCAN ${key_num} match ${line}\* count
1000|awk 'NR>1{print $0}')
echo ${key_name}|xargs -n 1 >> key_name.log
((key_num=scan_num))
if [ ${key_num} == 0 ]
then
break
fi
done
done
3、内存管理参数
当达到内存使用限制以后redis会出发对应的控制策略
redis支持6种策略: # 1.noevicition 默认策略，不会删除任何数据，拒绝全部写入操做并返回客户端错误信息，此时只响应读操做 # 2.volatile-lru 根据LRU算法删除设置了超时属性的key，直到腾出足够空间为止，若是没有可删除的key，则退回到noevicition策略 # 3.allkeys-lru 根据LRU算法删除key，无论数据有没有设置超时属性 # 4.allkeys-random 随机删除全部key # 5.volatile-random 随机删除过时key # 6.volatile-ttl 根据key的ttl，删除最近要过时的key
# 动态配置 config set maxmemory-policy # 设置内存最大限制 config set maxmemory 2G