21.9 redis介绍
21.10 redis安装
21.11 redis持久化
21.12 redis数据类型
21.13/21.14/21.15 redis经常使用操做
21.16 redis操做键值
21.17 redis安全设置
21.18 redis慢查询日志
21.19 php安装redis扩展
21.20 redis存储session
21.21 redis主从配置
21.22 redis集群介绍
21.23/21.24 redis集群搭建配置
21.25 redis集群操做
扩展
redis 哨兵https://segmentfault.com/a/1190000002680804
http://www.cnblogs.com/jaycekon/p/6237562.htmlphp
1、redis介绍html
Redis和Memcached相似,也属于k-v数据存储 Redis官网redis.io, 当前最新稳定版4.0.1 支持更多value类型,除了和string外,还支持hash、lists(链表)、sets(集合)和sorted sets(有序集合) redis使用了两种文件格式(即持久化):全量数据(RDB)和增量请求(aof)。全量数据格式是把内存中的数据(k和v)写入磁盘,便于下次读取文件进行加载。增量请求文件则是把内存中的数据序列化为操做请求,用于读取文件进行replay获得数据,这种相似于mysql binlog。 redis的存储分为内存存储、磁盘存储(RDB)和log(aof)文件三部分
2、redis安装node
redis.io下载最新稳定版mysql
cd /usr/local/src/ wget http://download.redis.io/releases/redis-5.0.5.tar.gz tar zxvf redis-5.0.5.tar.gz cd redis-5.0.5 没有configure直接make便可 make && make install
出现如下命令即安装成功linux
which redis-cli 查看安装路径git
拷贝到etc下 cp redis.conf /etc/ daemonize yes 改成yes,redis在后台启动,no在前台启动
定义日志文件路径: logfile "/var/log/redis.log"
databases 16 有16个库,默认在0库中
设置RDB持久化github
save 900 1 save 300 10 save 60 10000
dir /data/redis_data/ dbfilename dump.rdb的文件存放路径 appendonly yes 开启aof的日志,改成yes后也会在/data/redis_data/目录下生成appendonly.aof,appendfilename定义生成的文件名
appendfsync everysec 每秒去记录日志
mkdir /data/redis_data 建立对应dir的文件存放目录 启动redis redis-server /etc/redis.conf 端口6379
查看日志,存在警告redis
解决办法: vim /etc/rc.localsql
把这两条命令放到rc.local中,随开机启动执行数据库
sysctl vm.overcommit_memory=1 echo never > /sys/kernel/mm/transparent_hugepage/enabled
3、redis持久化
Redis提供了两种持久化的方式,分别是RDB(Redis DataBase)和AOF(Append Only File),若是都关闭,就会存储在内存中,服务重启时,数据会消失 RDB,简而言之,就是在不一样的时间点,将redis存储的数据生成快照并存储到磁盘等介质上。RDB就是把内存中的数据镜像一份到磁盘上,经过如下参数决定什么时间存到磁盘上,知足任意一个便可 AOF,则是换了一个角度来实现持久化,那就是将redis执行过的全部写指令记录下来,在下次redis从新启动时,只要把这些写指令从前到后再重复执行一遍,就能够实现数据恢复了。 其实RDB和AOF两种方式也能够同时使用,在这种状况下,若是redis重启的话,则会优先采用AOF方式来进行数据恢复,这是由于AOF方式的数据恢复完整度更高。 若是你没有数据持久化的需求,也彻底能够关闭RDB和AOF方式,这样的话,redis将变成一个纯内存数据库,就像memcache同样。
Redis持久化相关参数
save 900 1 #表示每15分钟且至少有1个key改变,就触发一次持久化 save 300 10 #表示每5分钟且至少有10个key改变,就触发一次持久化 save 60 10000 #表示每60秒至少有10000个key改变,就触发一次持久 save “” #这样能够禁用rdb持久化 appendonly yes #若是是yes,则开启aof持久化 appendfilename “appendonly.aof” # 指定aof文件名字 appendfsync everysec #指定fsync()调用模式,有三种no(不调用fsync),always(每次写都会调用fsync),everysec(每秒钟调用一次fsync)。第一种最快,第二种数据最安全,但性能会差一些,第三种为这种方案,默认为第三种。 900秒发生一次更改 300秒发生一次更改 60秒发生一万次更改 关闭持久化:注释这三行,并把上面 save "" 注释取消便可
4、redis数据类型
共有五种:string、list、set、sort set、hash
Redis数据类型-string
string为最简单的类型,与Memcached同样的类型,一个key对应一个value,其支持的操做与Memcached的操做相似,它的功能更丰富。能够存二进制的对象。 示例: tab能够自动补全命令 redis-cli redis的链接命令 127.0.0.1:6379> set mykey "123" 设置值 OK 127.0.0.1:6379> get mykey 获取值 "123" 127.0.0.1:6379> mset k1 1 k2 2 k3 3 同时设置多个键值对 127.0.0.1:6379> mget k1 k2 k3 获取多个键值对 1) "1" 2) "2" 3) "3"
Redis数据类型-list
list是一个链表结构,主要功能是push、pop、获取一个范围的全部值等等。操做中key理解为链表的名字。 使用 list 结构,咱们能够轻松地实现最新消息排行等功能(好比新浪微博的 TimeLine )。list 的另外一个应用就是消息队列,能够利用 list 的 push操做,将任务存在 list 中,而后工做线程再用pop操做将任务取出进行执行。 示例: redis-cli LPUSH list1 "tobe" LPUSH->左 RPUSH->右 LPUSH list1 "123" LPUSH list1 "aaa" LRANGE list1 0 -1 -1表明最后一个,最早推入的会如今最后 1) "aaa" 2) "123" 3) "tobe" 127.0.0.1:6379> LPOP list1 使用LPOP取出后在使用LRANGE list1 0 -1查看,取出的就不显示了
Redis数据类型-set
set是集合,和咱们数学中的集合概念类似,对集合的操做有添加删除元素,有对多个集合求交并差等操做。操做中key理解为集合的名字。好比在微博应用中,能够将一个用户全部的关注人存在一个集合中,将其全部粉丝存在一个集合。由于 Redis 很是人性化的为集合提供了求交集、并集、差集等操做,那么就能够很是方便的实现如共同关注、共同喜爱、二度好友等功能,对上面的全部集合操做,你还可使用不一样的命令选择将结果返回给客户端仍是存集到一个新的集合中。 set示例 127.0.0.1:6379> SADD set1 a 127.0.0.1:6379> SADD set1 b 127.0.0.1:6379> SADD set1 c 127.0.0.1:6379> SADD set1 d 127.0.0.1:6379> SMEMBERS set1 1) "a" 2) "c" 3) "b" 4) "d" 127.0.0.1:6379> SREM set1 c//删除元素 127.0.0.1:6379> SADD set2 a 2 b 给set2赋多个值 127.0.0.1:6379> SINTER set1 set2 //交集 127.0.0.1:6379> SUNION set1 set2 //并集 127.0.0.1:6379> SDIFF set1 set2 //差集
Redis数据类型-sort set
sorted set是有序集合,它比set多了一个权重参数score,使得集合中的元素可以按 score 进行有序排列,好比一个存储全班同窗成绩的 Sorted Sets,其集合 value 能够是同窗的学号,而 score 就能够是其考试得分,这样在数据插入集合的时候,就已经进行了自然的排序。 正序 127.0.0.1:6379> ZADD set3 12 abc 12为score 127.0.0.1:6379> ZADD set3 2 "cde 123" 127.0.0.1:6379> ZADD set3 24 "123-aaa" 127.0.0.1:6379> ZADD set3 4 "a123a" 127.0.0.1:6379> ZRANGE set3 0 -1 从小到大排序,根据score排序 1) "cde 123" 2) "ttt" 3) "abc" 4) "tobe" 倒序 127.0.0.1:6379> ZREVRANGE set3 0 -1 1) "tobe" 2) "abc" 3) "ttt" 4) "cde 123"
Redis数据类型-hash
在 Memcached 中,咱们常常将一些结构化的信息打包成 hashmap,在客户端序列化后存储为一个字符串的值(通常是 JSON 格式),好比用户的昵称、年龄、性别、积分等。 示例 127.0.0.1:6379> hset hash1 name tobe 127.0.0.1:6379> hget hash1 name 获取元素 "tobe" 127.0.0.1:6379> hset hash1 age 30 127.0.0.1:6379> hget hash1 age "30" 127.0.0.1:6379> HSET hash1 job it 127.0.0.1:6379> HGETALL hash1 奇数行是key,偶数行是value 1) "name" 2) "tobe" 3) "age" 4) "30" 5) "job" 6) "it"
5、Redis经常使用操做 (string, list)
string set key1 aaabbbccc get key1 set key1 bbbccc//第二次赋值会覆盖 get key1 SETNX key1 ahf //返回0,表示key1(key)已经存在,值不能覆盖 SETNX key2 abccc //返回1 表示key2不存在直接建立key setex key3 10 bbg //给key3设置过时时间为10s,值为1,若key已经存在,会覆盖新的值list: mset k1 1 k2 a k3 c mget k1 k3 k2 lpush list2 aaa //从左侧加入一个元素 lpush list2 bbbb /后加入的元素排在前面 lrange list2 0 -1 lpop list2 //从左侧取出第一个元素,也就是最上面的,不会保留 rpop list2 //从右侧取出第一个元素,也就是最下面的,不会保留 rpush list2 1 //从右侧加入一个元素,最下面插入
Redis经常使用操做(list, set)
list: linsert list2 before ccc 333 //在ccc的前面插入一个元素为333,before 以前,after以后 LSET list2 2 c3 //把第3个元素修改成c3 lset 修改某一个元素 LINDEX list2 0 //查看第1个元素 lindex list2 3 //查看第4个元素 llen list2 //查看链表中有几个元素set: sadd seta aaa //向集合seta中放入元素 smembers seta //查看集合中的全部元素 srem seta aaa //删除元素 spop seta //随机取出一个元素,删除
sdiff seta setb //求差集,seta在前面,会以seta为标准,把没有的显示出来 sdiffstore setc seta setb //求差集而且存储,存储到了setc里 sinter seta setb //求交集,使用方法与求差集相同 sinterstore setd seta setb //将交集存储setd sunion seta setb //求并集 sunionstore sete seta setb //求并集并存储到sete
Redis经常使用操做(set, zset)
set: sismember seta aaa //判断一个元素是否属于一个集合,有的话返回1,没有返回0 SRANDMEMBER seta //随机取出一个元素,但不删除,默认取一个 SRANDMEMBER seta 2 随机取出两个元素,不删除zset: zadd zseta 11 123 //建立有序集合,11为score,能够按照score排序 zrange zseta 0 -1 //显示全部元素,按顺序显示 zrange zseta 0 -1 withscores //能够带上分值,键值对 zrem zseta fdq //删除指定元素 zrank zseta 222 //返回元素的索引值,索引值从0开始,按score正向排序
zrevrank zseta 3d //同上,不一样的是,按score反序排序 zrevrange zseta 0 -1 反序显示全部元素 zcard zseta //返回集合中全部元素的个数 zcount zseta 1 10 // 返回分值范围1-10的元素个数 zrangebyscore zseta 1 10 // 返回分值范围1-10的元素 zremrangebyrank zseta 0 1 //删除索引范围0-1的元素,按score正向排序 zremrangebyscore zseta 1 10 //删除分值范围1-10的元素
Redis经常使用操做(hash)
hset hash1 name tobe //创建hash hset hash1 age 30 hset hash1 job it hgetall hash1 hmset hash2 a 1 b 2 c 3 //批量创建键值对 hgetall hash2 获取全部键值对 hgetall hash2 b c 获取指定b,c的值 hdel hash2 b //删除指定filed hkeys hash2 //打印全部的key hvals hash2 //打印全部的values hlen hash2 //查看hash有几个filed
Redis经常使用操做(键值)
keys * //取出全部key keys k* //模糊匹配 exists key1 //有key1键 返回1 ,不然返回0; del key1 // 删除一个key //成功返回1 ,不然返回0; EXPIRE key1 10 //设置key1 10s后过时ttl k3 // 查看键 还有多长时间过时,单位是s,当 key 不存在时,返回 -2 。 当 key 存在但没有设置剩余生存时间时,返回 -1 。 不然,返回 key 的剩余生存时间。 select 0 //表明选择当前数据库,默认进入0 数据库 0-15 16个库 move set1 1 // 把set1移动到1 数据库 persist key1 //取消key1的过时时间 randomkey //随机返回一个key rename oldname newname //重命名key type key1 //返回键的类型
Redis经常使用操做(服务)
dbsize //返回当前数据库中key的数目 info //返回redis数据库状态信息 flushdb //清空当前数据库中全部的键 flushall //清空全部数据库中的全部的key bgsave //保存数据到 rdb文件中,在后台运行 save //做用同上,可是在前台运行 config get * //获取全部配置参数,获取的是键值匹配的,上下为一对 config get dir //获取配置参数 config set dir //更改配置参数 数据恢复: 首先定义或者肯定dir目录和dbfilename,而后把备份的rdb文件放到dir目录下面,重启redis服务便可恢复数据
6、Redis安全设置
设置监听ip bind 127.0.0.1 2.2.2.2//能够是多个ip,用空格分隔,不定义的话,默认监听全部 设置监听端口 port 16000 设置密码 : vim /etc/redis.conf requirepass tobe>com 在配置文件中添加,密码为tobe>com killall redis-server redis-server /etc/redis.conf 重启redis
添加密码登陆后,输入命令,报错:
带密码登陆: redis-cli -a 'tobe>com'
将config命令更名
vim /etc/redis.conf rename-command CONFIG tobe killall redis-server redis-server /etc/redis.conf 重启redis
禁掉config命令
rename-command CONFIG “”
7、Redis慢查询日志
编辑配置文件/etc/redis.conf 针对慢查询日志,能够设置slowlog的两个参数,一个是执行时长,单位是微秒,另外一个是慢查询日志的长度。当一个新的命令被写入日志时,最老的一条会从命令日志队列中被移除。 slowlog-log-slower-than 1000 //单位微妙ms,表示慢于1000ms则记录日志,1000微妙=1毫秒,1000毫秒=1秒 slowlog-max-len 128 //定义日志长度,表示最多存128条 扩展: redis-cli -a 'tobe>com' 登录后执行: slowlog get //列出全部的慢查询日志 slowlog get 2 //只列出2条 slowlog len //查看慢查询日志条数
8、php安装redis扩展
cd /usr/local/src wget https://coding.net/u/aminglinux/p/yuanke_centos7/git/raw/master/21NOSQL/phpredis.zip unzip phpredis.zip cd phpredis-develop /usr/local/php-fpm/bin/phpize 生成configure文件 ./configure --with-php-config=/usr/local/php-fpm/bin/php-config make && make install vim /usr/local/php-fpm/etc/php.ini //增长extension=redis.so /usr/local/php-fpm/bin/php -m|grep redis//看是否有redis模块 重启php-fpm服务后生效
9、PHP中使用redis – 存储session
vim /usr/local/php-fpm/etc/php.ini//更改或增长 session.save_handler = "redis" session.save_path = "tcp://127.0.0.1:6379" 或者apache虚拟主机配置文件中也能够这样配置: php_value session.save_handler " redis" php_value session.save_path " tcp://127.0.0.1:6379" 或者php-fpm配置文件对应的pool中增长: 此方法更有效 vim /usr/local/php-fpm/etc/php-fpm.d/tobe.com.conf php_value[session.save_handler] = redis php_value[session.save_path] = "tcp://127.0.0.1:6379" 修改完成重启php-fpm /etc/init.d/php-fpm restart为了方便测试,关闭刚刚设置的redis密码,注释便可 下载一个存储seesion的php脚本: 和memcache的用法相同 wgt http://study.lishiming.net/.mem_se.txt mv .mem_se.txt /usr/local/apache2/htdocs/session.php 其中session.php内容能够参考https://coding.net/u/aminglinux/p/yuanke_centos7/git/blob/master/21NOSQL/session.php curl localhost/123.php //结果相似于1443702394<br><br>1443702394<br><br>i44nunao0g3o7vf2su0hnc5440 命令行链接redis,也能够查看到该key以及对应的值
若是想用php链接redis cluster,须要使用predis扩展
安装方法相似phpredis,predis扩展地址https://github.com/nrk/predis
10、Redis主从配置
为了节省资源,咱们能够在一台机器上启动两个redis服务 cp /etc/redis.conf /etc/redis2.conf vim /etc/redis2.conf //须要修改port,dir,pidfile,logfile port 6380 pidfile /var/run/redis_6380.pid logfile "/var/log/redis2.log" dir /data/redis2/ 还要增长一行 slaveof 127.0.0.1 6379 是哪一个redis的从,指定主是谁 若是主上设置了密码,还须要增长 masterauth tobe>com //设置主的密码 启动以前不要忘记建立新的dir目录 mkdir /data/redis2 redis-server /etc/redis2.conf 测试:在主上建立新的key,在从上查看 注意:redis主从和mysql主从不同,redis主从不用事先同步数据,它会自动同步过去
链接到6380: redis-cli -h 127.0.0.1 -p 6380 主上的会同步过来
作只读权限:
vim /etc/redis2.conf 添加: slave-read-only yes 重启redis2
11、Redis集群
多个redis节点网络互联,数据共享 全部的节点都是一主一从(能够是多个从),其中从不提供服务,仅做为备用 不支持同时处理多个键(如mset/mget),由于redis须要把键均匀分布在各个节点上,并发量很高的状况下同时建立键值会下降性能并致使不可预测的行为。 支持在线增长、删除节点 客户端能够连任何一个主节点进行读写
12、Redis集群配置
(1)场景设置:
两台机器,分别开启三个Redis服务(端口)
A机器上三个端口7000,7002,7004,所有为主
B机器上三个端口7001,7003,7005,所有为从
两台机器上都要编译安装redis,而后编辑并复制3个不一样的redis.conf,分别设置不一样的端口号、dir等参数,还须要增长cluster相关参数,而后分别启动6个redis服务
具体redis配置文件你们到https://coding.net/u/aminglinux/p/yuanke_centos7/git/tree/master/21NOSQL下载或者查看
下面是7000端口的配置文件,其余的须要更改端口号,pid,dir,cluster-config-file,B机器上的还须要更改ip
vim /etc/redis_7000.conf 直接建立
port 7000 bind 192.168.183.3 此处是本机的ip地址 daemonize yes pidfile /var/run/redis_7000.pid dir /data/redis_data/7000 cluster-enabled yes 开启cluster cluster-config-file nodes_7000.conf nodes_7000.conf此文件在dir的目录下自动生成 cluster-node-timeout 10100 appendonly yes mkdir /data/redis_data/ 看是否有此目录,没有则建立 A机器: mkdir /data/redis_data/{7000,7002,7004} B机器: mkdir /data/redis_data/{7001,7003,7005}
此时在002机器上没安装redis,须要把001上的redis包传到002上:scp -r redis-5.0.5 192.168.183.33:/usr/local/src/
由于在001是编译过的因此拷贝过来到002后,能够直接make install ,就能够正常运行命令了
在两台机器把刚刚编辑好的6个配置文件启动
A机器:
B机器:
试验前须要关闭iptables、seLinux,不然没法进行通讯
(2)安装ruby2.2 (只须要一台机器上运行)
机器上的ruby为2.0的版本,可是该版本不支持本次试验,须要安装ruby2.2,为了安装更高版本的,须要如下操做
yum不带rpm包,须要去下载源码包编译安装,或把源码包搞成rpm包,如今的方法是源码包搞成rpm包
安装方法:
yum -y groupinstall "Development Tools" yum -y install gdbm-devel libdb4-devel libffi-devel libyaml libyaml-devel ncurses-devel openssl-devel readline-devel tcl-deve cd /root/ mkdir -p rpmbuild/{BUILD,BUILDROOT,RPMS,SOURCES,SPECS,SRPMS} 建立目录 wget http://cache.ruby-lang.org/pub/ruby/2.2/ruby-2.2.3.tar.gz -P rpmbuild/SOURCES 下载源码包 wget https://raw.githubusercontent.com/tjinjin/automate-ruby-rpm/master/ruby22x.spec -P rpmbuild/SPECS 下载ruby22x.spec,为了rpmbuild成rpm rpmbuild -bb rpmbuild/SPECS/ruby22x.spec yum -y localinstall rpmbuild/RPMS/x86_64/ruby-2.2.3-1.el7.x86_64.rpm 注意生成的rpm名称 使用yum安装ruby的rpm包能够把所须要的依赖包也安装上,安装前能够先看下rpm是否生成,ls rpmbuild/RPMS/x86_64/ruby-2.2.3-1.el7.x86_64.rpm ruby -v 查看版本 gem install redis gem是ruby中自带的工具,此处安装的是redis相关的工具:redis-trib.rb 若是上一步gem install redis报以下错误: 说明版本低
解决办法:
gem sources --add https://gems.ruby-china.com/ --remove https://rubygems.org/
curl -L get.rvm.io | bash -s stable 根据提示添加 rvm 用户到 rvm 组: useradd -g rvm rvm 并运行 source /etc/profile.d/rvm.sh
安装完成后的 rvm 的版本:
rvm -v
查看 rvm 库已知 ruby 版本:
rvm list known
安装 ruby 2.3.0,并查看版本: ruby -v
从新 gem install redis 成功
建立 cluster 主从,线上不建议在一台机器上搞不少端口,达不到高可用的目的,一台挂掉,上面的端口都会挂掉
cp /usr/local/src/redis-5.0.5/src/redis-trib.rb /usr/bin/ redis-trib.rb create --replicas 1 192.168.183.3:7000 192.168.183.3:7002 192.168.183.3:7004 192.168.183.33:7001 192.168.183.33:7003 192.168.183.33:7005
若是出现下面的报错,有多是 redis-trib.rb与你所安装的版本不符,这次试验安装的是redis-5.0.5,可是此命令是redis-4.0.1的,因此http://download.redis.io/releases/去这里下载对应的redis版本复制到5.0的版本中,在拷贝到/usr/bin/下覆盖以前的
cp /usr/local/src/redis-4.0.1/src/redis-trib.rb /usr/local/src/redis-5.0.5/src/
再次执行便可:
redis-trib.rb create --replicas 1 192.168.183.3:7000 192.168.183.3:7002 192.168.183.3:7004 192.168.183.33:7001 192.168.183.33:7003 192.168.183.33:7005 给分配的三个主是7000、700一、7002 其中7003为7000的从 7004为7001的从 7005为7002的从
输入yes,直到出现两个绿色的ok,即成功
十3、redis集群操做
redis-cli -c -h 192.168.183.3 -p 7000 //-c说明以集群的方式登陆,-h指定ip,-p指定端口 key1会存到7001,key2会存到7000,key3存到了本机,获取时,会到对应的端口机器下获取 任意一个节点均可以建立key,或者查看key
redis-trib.rb check 192.168.183.3:7000 //检测集群状态
cluster nodes //列出节点
cluster info //查看集群信息
添加节点:
在B机器上添加一个 redis_7007.conf,并启动
在A机器上添加节点 : cluster meet ip port 默认身份是master
在A机器上添加 redis_7006.conf 并启动
添加节点: CLUSTER MEET 192.168.183.3 7006 发现新加入的也是做为 master 存在
将当前节点设置为指定节点的从,当前节点即登录中的节点,若是须要把7006设置为从,须要登录到7006中 cluster replicate node_id node_id即为要设置到的从的node_id
能够移除 slave,须要到非移除节点的 redis 里去移除
cluster saveconfig //保存配置文件,会保存到/data/redis_data/7000/nodes_7000.conf 文件中