Redis在Linux中的运用

Redis在Linux中的运用

1、Redis安装部署

下载：

wget http://download.redis.io/releases/redis-3.2.12.tar.gz

解压：

上传至 /data
tar xzf redis-3.2.12.tar.gz
mv redis-3.2.12 redis

安装：

cd redis
make

启动：

src/redis-server &

环境变量：

vim /etc/profile 
export PATH=/data/redis/src:$PATH
source /etc/profile

2、redis基本管理操做

2.1基础配置文件介绍：

redis-cli  shutdown 
 
 mkdir /data/6379

cat >>/data/6379/redis.conf <<EOF
daemonize yes
port 6379
logfile /data/6379/redis.log
dir /data/6379
dbfilename dump.rdb
EOF

重启redis

redis-cli shutdown 
redis-server /data/6379/redis.conf 
netstat -lnp|grep 63

2.2配置文件说明

redis.conf
是否后台运行：
daemonize yes
默认端口：
port 6379
日志文件位置
logfile /var/log/redis.log
持久化文件存储位置
dir /data/6379
RDB持久化数据文件:
dbfilename dump.rdb

2.三、redis安全配置

redis默认开启了保护模式，只容许本地回环地址登陆并访问数据库。

禁止protected-mode

protected-mode yes/no （保护模式，是否只容许本地访问）

(1)Bind :指定IP进行监听

echo "bind 10.0.0.200  127.0.0.1" >>/data/6379/redis.conf

(2)增长requirepass {password}

echo "requirepass 123" >>/data/6379/redis.conf

重启redis

redis-cli shutdown 
redis-server /data/6379/redis.conf

验证：

方法一：
[root@db03 ~]# redis-cli -a 123
127.0.0.1:6379> set name zhangsan 
OK
127.0.0.1:6379> exit
方法二：
[root@db03 ~]# redis-cli
127.0.0.1:6379> auth 123
OK
127.0.0.1:6379> set a b

2.4 在线查看和修改配置

CONFIG GET *
CONFIG GET requirepass
CONFIG SET requirepass 123

2.5 redis持久化（内存数据保存到磁盘)

做用：能够有效防止在redis宕机后，缓存失效的问题

方式：RDB和AOF持久化

RDB持久化：能够在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot）

优势：速度快，适合用作备份，主从复制也是基于RDB持久化功能实现的。

缺点：会有数据丢失

rdf持久化核心配置参数：

vim /data/6379/redis.conf
dir /data/6379
dbfilename dump.rdb

save 900 1
save 300 10
save 60 10000
配置分别表示：
900秒（15分钟）内有1个更改
300秒（5分钟）内有10个更改
60秒内有10000个更改

AOF 持久化(append-only log file)

记录服务器执行的全部写操做命令，并在服务器启动时，经过从新执行这些命令来还原数据集。 
AOF 文件中的命令所有以 Redis 协议的格式来保存，新命令会被追加到文件的末尾。
优势：能够最大程度保证数据不丢
缺点：日志记录量级比较大

AOF持久化配置

appendonly yes
appendfsync everysec

appendfsync always
appendfsync no


vim /data/6379/redis.conf
appendonly yes
appendfsync everysec

面试题：

redis 持久化方式有哪些？有什么区别？
rdb：基于快照的持久化，速度更快，通常用做备份，主从复制也是依赖于rdb持久化功能
aof：以追加的方式记录redis操做日志的文件。能够最大程度的保证redis数据安全，相似于mysql的binlog

三、Redis数据类型

String ：     字符类型
Hash：        字典类型
List：        列表     
Set：         集合 
Sorted set：  有序集合

3.1 键的通用操做

KEYS *   keys a  keys a*    查看已存在全部键的名字   ****
TYPE                        返回键所存储值的类型     ****
EXISTS                      检查是否存在             *****
EXPIRE\ PEXPIRE             以秒\毫秒设定生存时间       ***
TTL\ PTTL                   以秒\毫秒为单位返回生存时间 ***
PERSIST                     取消生存实现设置            ***
DEL                         删除一个key
RENAME                      变动KEY名

例子：

127.0.0.1:6379> set name zhangsan 
127.0.0.1:6379> EXPIRE name 60
(integer) 1
127.0.0.1:6379> ttl name
(integer) 57
127.0.0.1:6379> set a b ex 60
OK
127.0.0.1:6379> ttl a
127.0.0.1:6379> PERSIST a
(integer) 1
127.0.0.1:6379> ttl a
(integer) -1

3.2 string

应用场景：常规计数：微博数，粉丝数等。订阅、礼物、页游。key:value

增：

set     mykey "test"            为键设置新值，并覆盖原有值
getset mycounter 0              设置值,取值同时进行
setex  mykey 10 "hello"         设置指定 Key 的过时时间为10秒,在存活时间能够获取value
setnx mykey "hello"             若该键不存在，则为键设置新值
mset key3  "zyx"  key4 "xyz"    批量设置键

删

del mykey                        删除已有键

改

append mykey "hello"            若该键并不存在,返回当前 Value 的长度
                                该键已经存在，返回追加后 Value的长度
incr mykey                      值增长1,若该key不存在,建立key,初始值设为0,增长后结果为1
decrby  mykey  5                值减小5
setrange mykey 20 dd            把第21和22个字节,替换为dd, 超过value长度,自动补0

查

exists mykey                    判断该键是否存在，存在返回 1，不然返回0
get mykey                       获取Key对应的value
strlen mykey                    获取指定 Key 的字符长度
ttl mykey                       查看一下指定 Key 的剩余存活时间(秒数)
getrange mykey 1 20             获取第2到第20个字节,若20超过value长度,则截取第2个和后面全部的
mget key3 key4                  批量获取键

3.3 hash类型

hash类型（字典类型）
应用场景：
存储部分变动的数据，如用户信息等。
最接近mysql表结构的一种类型

存数据：

hmset stu id 101 name zs age 18

id    name     age
101   zs      18

取数据：

HMGET stu id name age     -----> select id,name,age from stu;
hgetall stu               ------> select * from stu;

增

hset myhash field1 "s"  
若字段field1不存在,建立该键及与其关联的Hashes, Hashes中,key为field1 ,并设value为s ，若存在会覆盖原value

hsetnx myhash field1 s    
若字段field1不存在,建立该键及与其关联的Hashes, Hashes中,key为field1 ,并设value为s， 若字段field1存在,则无效

hmset myhash field1 "hello" field2 "world       一次性设置多个字段

删

hdel myhash field1                      删除 myhash 键中字段名为 field1 的字段
del myhash                              删除键

改

hincrby myhash field 1                  给field的值加1

查

hget myhash field1                      获取键值为 myhash,字段为 field1 的值
hlen myhash                             获取myhash键的字段数量
hexists myhash field1                   判断 myhash 键中是否存在字段名为 field1 的字段
hmget myhash field1 field2 field3       一次性获取多个字段
hgetall myhash                          返回 myhash 键的全部字段及其值
hkeys myhash                            获取myhash 键中全部字段的名字
hvals myhash                            获取 myhash 键中全部字段的值

3.4 LIST（列表）

应用场景

消息队列系统
好比sina微博:在Redis中咱们的最新微博ID使用了常驻缓存，这是一直更新的。
可是作了限制不能超过5000个ID，所以获取ID的函数会一直询问Redis。
只有在start/count参数超出了这个范围的时候，才须要去访问数据库。
系统不会像传统方式那样“刷新”缓存，Redis实例中的信息永远是一致的。
SQL数据库（或是硬盘上的其余类型数据库）只是在用户须要获取“很远”的数据时才会被触发，
而主页或第一个评论页是不会麻烦到硬盘上的数据库了。

微信朋友圈：

127.0.0.1:6379> LPUSH wechat "today is nice day !"

127.0.0.1:6379> LPUSH wechat "today is bad day !"

127.0.0.1:6379> LPUSH wechat "today is good  day !"

127.0.0.1:6379> LPUSH wechat "today is rainy  day !"

127.0.0.1:6379> LPUSH wechat "today is friday !"

增

lpush mykey a b             若key不存在,建立该键及与其关联的List,依次插入a ,b， 若List类型的key存在,则插入value中
lpushx mykey2 e             若key不存在,此命令无效， 若key存在,则插入value中
linsert mykey before a a1   在 a 的前面插入新元素 a1
linsert mykey after e e2    在e 的后面插入新元素 e2
rpush mykey a b             在链表尾部先插入b,在插入a
rpushx mykey e              若key存在,在尾部插入e, 若key不存在,则无效
rpoplpush mykey mykey2      将mykey的尾部元素弹出,再插入到mykey2 的头部(原子性的操做)

删

del mykey                   删除已有键 
lrem mykey 2 a              从头部开始找,按前后顺序,值为a的元素,删除数量为2个,若存在第3个,则不删除
ltrim mykey 0 2             从头开始,索引为0,1,2的3个元素,其他所有删除

改

lset mykey 1 e              从头开始, 将索引为1的元素值,设置为新值 e,若索引越界,则返回错误信息
rpoplpush mykey mykey       将 mykey 中的尾部元素移到其头部

查

lrange mykey 0 -1           取链表中的所有元素，其中0表示第一个元素,-1表示最后一个元素。
lrange mykey 0 2            从头开始,取索引为0,1,2的元素
lrange mykey 0 0            从头开始,取第一个元素,从第0个开始,到第0个结束
lpop mykey                  获取头部元素,而且弹出头部元素,出栈
lindex mykey 6              从头开始,获取索引为6的元素 若下标越界,则返回nil

3.5 SET 集合类型（join union）

应用场景：
案例：在微博应用中，能够将一个用户全部的关注人存在一个集合中，将其全部粉丝存在一个集合。
Redis还为集合提供了求交集、并集、差集等操做，能够很是方便的实现如共同关注、共同喜爱、二度好友等功能，
对上面的全部集合操做，你还可使用不一样的命令选择将结果返回给客户端仍是存集到一个新的集合中。

增

sadd myset a b c  
若key不存在,建立该键及与其关联的set,依次插入a ,b,若key存在,则插入value中,若a 在myset中已经存在,则插入了 d 和 e 两个新成员。

删

spop myset              尾部的b被移出,事实上b并非以前插入的第一个或最后一个成员
srem myset a d f        若f不存在, 移出 a、d ,并返回2

改

smove myset myset2 a        将a从 myset 移到 myset2，

查

sismember myset a           判断 a 是否已经存在，返回值为 1 表示存在。
smembers myset          查看set中的内容
scard myset             获取Set 集合中元素的数量
srandmember myset       随机的返回某一成员
sdiff myset1 myset2 myset3      1和2获得一个结果,拿这个集合和3比较,得到每一个独有的值
sdiffstore diffkey myset myset2 myset3      3个集和比较,获取独有的元素,并存入diffkey 关联的Set中
sinter myset myset2 myset3              得到3个集合中都有的元素
sinterstore interkey myset myset2 myset3  把交集存入interkey 关联的Set中
sunion myset myset2 myset3              获取3个集合中的成员的并集
sunionstore unionkey myset myset2 myset3  把并集存入unionkey 关联的Set中

3.6 SortedSet(有序集合)

127.0.0.1:6379> zadd topN 0 smlt 0 fskl 0 fshkl 0 lzlsfs 0 wdhbx 0 wxg 
(integer) 6
127.0.0.1:6379> ZINCRBY topN 100000 smlt
"100000"
127.0.0.1:6379> ZINCRBY topN 10000 fskl
"10000"
127.0.0.1:6379> ZINCRBY topN 1000000 fshkl
"1000000"
127.0.0.1:6379> ZINCRBY topN 100 lzlsfs
"100"
127.0.0.1:6379> ZINCRBY topN 10 wdhbx
"10"
127.0.0.1:6379> ZINCRBY topN 100000000 wxg
"100000000"

127.0.0.1:6379> ZREVRANGE topN 0 2 
1) "wxg"
2) "fshkl"
3) "smlt"
127.0.0.1:6379> ZREVRANGE topN 0 2 withscores
1) "wxg"
2) "100000000"
3) "fshkl"
4) "1000000"
5) "smlt"
6) "100000"
127.0.0.1:6379>

3.6.1 增删改查

增

zadd myzset 2 "two" 3 "three"       添加两个分数分别是 2 和 3 的两个成员

删

zrem myzset one two                 删除多个成员变量,返回删除的数量

改

zincrby myzset 2 one                将成员 one 的分数增长 2，并返回该成员更新后的分数

查

zrange myzset 0 -1 WITHSCORES       返回全部成员和分数,不加WITHSCORES,只返回成员
zrank myzset one                    获取成员one在Sorted-Set中的位置索引值。0表示第一个位置
zcard myzset                        获取 myzset 键中成员的数量
zcount myzset 1 2                   获取分数知足表达式 1 <= score <= 2 的成员的数量
zscore myzset three                 获取成员 three 的分数
zrangebyscore myzset  1 2               获取分数知足表达式 1 < score <= 2 的成员

#-inf 表示第一个成员，+inf最后一个成员
#limit限制关键字
#2  3  是索引号
zrangebyscore myzset -inf +inf limit 2 3  返回索引是2和3的成员
zremrangebyscore myzset 1 2         删除分数 1<= score <= 2 的成员，并返回实际删除的数量
zremrangebyrank myzset 0 1              删除位置索引知足表达式 0 <= rank <= 1 的成员
zrevrange myzset 0 -1 WITHSCORES        按位置索引从高到低,获取全部成员和分数
#原始成员:位置索引从小到大
      one  0  
      two  1
#执行顺序:把索引反转
      位置索引:从大到小
      one 1
      two 0
#输出结果: two  
       one
zrevrange myzset 1 3                获取位置索引,为1,2,3的成员
#相反的顺序:从高到低的顺序
zrevrangebyscore myzset 3 0             获取分数 3>=score>=0的成员并以相反的顺序输出
zrevrangebyscore myzset 4 0 limit 1 2    获取索引是1和2的成员,并反转位置索引

四 、发布订阅

PUBLISH channel msg
    将信息 message 发送到指定的频道 channel
SUBSCRIBE channel [channel ...]
    订阅频道，能够同时订阅多个频道
UNSUBSCRIBE [channel ...]
    取消订阅指定的频道, 若是不指定频道，则会取消订阅全部频道
PSUBSCRIBE pattern [pattern ...]
    订阅一个或多个符合给定模式的频道，每一个模式以 * 做为匹配符，好比 it* 匹配所   有以 it 开头的频道( it.news 、 it.blog 、 it.tweets 等等)， news.* 匹配全部 以 news. 开头的频道( news.it 、 news.global.today 等等)，诸如此类
PUNSUBSCRIBE [pattern [pattern ...]]
    退订指定的规则, 若是没有参数则会退订全部规则
PUBSUB subcommand [argument [argument ...]]
    查看订阅与发布系统状态

注意：使用发布订阅模式实现的消息队列，当有客户端订阅channel后只能收到后续发布到该频道的消息，以前发送的不会缓存，必须Provider和Consumer同时在线。

发布订阅例子：

窗口1：
127.0.0.1:6379> SUBSCRIBE baodi 
窗口2：
127.0.0.1:6379> PUBLISH baodi "jin tian zhen kaixin!"

订阅多频道：
窗口1：
127.0.0.1:6379> PSUBSCRIBE wang*
窗口2：
127.0.0.1:6379> PUBLISH wangbaoqiang "jintian zhennanshou "

5、Redis事务

redis的事务是基于队列实现的。mysql的事务是基于事务日志实现的。

开启事务功能时（multi）

multi 
command1      
command2
command3
command4

4条语句做为一个组，并无真正执行，而是被放入同一队列中。
若是，这是执行discard，会直接丢弃队列中全部的命令，而不是作回滚。
exec
当执行exec时，对列中全部操做，要么全成功要么全失败

6、redis原理

1. 从服务器向主服务器发送 SYNC 命令。
2. 接到 SYNC 命令的主服务器会调用BGSAVE 命令，建立一个 RDB 文件，并使用缓冲区记录接下来执行的全部写命令。
3. 当主服务器执行完 BGSAVE 命令时，它会向从服务器发送 RDB 文件，而从服务器则会接收并载入这个文件。
4. 主服务器将缓冲区储存的全部写命令（广播形式）发送给从服务器执行。

7、主从同步

一、在开启主从复制的时候，使用的是RDB方式的，同步主从数据的
二、同步开始以后，经过主库命令传播的方式，主动的复制方式实现
三、2.8之后实现PSYNC的机制，实现断线重连

主从数据一致性保证：

min-slaves-to-write 1
min-slaves-max-lag

这个特性的运做原理：

从服务器以每秒一次的频率 PING 主服务器一次， 并报告复制流的处理状况。
主服务器会记录各个从服务器最后一次向它发送 PING 的时间。

用户能够经过配置， 指定网络延迟的最大值 min-slaves-max-lag ，

以及执行写操做所需的至少从服务器数量 min-slaves-to-write 。

若是至少有 min-slaves-to-write 个从服务器， 而且这些服务器的延迟值都少于 min-slaves-max-lag秒，

那么主服务器就会执行客户端请求的写操做。

你能够将这个特性看做 CAP 理论中的 C 的条件放宽版本： 尽管不能保证写操做的持久性， 
但起码丢失数据的窗口会被严格限制在指定的秒数中。

另外一方面， 若是条件达不到 min-slaves-to-write 和 min-slaves-max-lag 所指定的条件， 那么写操做就不会被执行
主服务器会向请求执行写操做的客户端返回一个错误。

问题：主库是否要开启持久化？

若是不开有可能，主库重启操做，形成全部主从数据丢失！

主从复制实现：

一、环境：准备两个或两个以上redis实例

mkdir /data/638{0..2}

配置文件示例：

cat >> /data/6380/redis.conf << EOF 
port 6380
daemonize yes
pidfile /data/6380/redis.pid
loglevel notice
logfile "/data/6380/redis.log"
dbfilename dump.rdb
dir /data/6380
requirepass 123
masterauth 123
EOF

cp /data/6380/redis.conf /data/6381/redis.conf
cp /data/6380/redis.conf /data/6382/redis.conf

sed -i 's#6380#6381#g' /data/6381/redis.conf
sed -i 's#6380#6382#g' /data/6382/redis.conf

启动：

redis-server /data/6380/redis.conf
redis-server /data/6381/redis.conf
redis-server /data/6382/redis.conf

netstat -lnp|grep 638

主节点：6380
从节点：638一、6382

二、开启主从：6381/6382命令行:

redis-cli -p 6381 -a 123 SLAVEOF 127.0.0.1 6380
redis-cli -p 6382 -a 123 SLAVEOF 127.0.0.1 6380

三、查询主从状态

redis-cli -p 6380 -a 123 info replication
redis-cli -p 6381 -a 123 info replication
redis-cli -p 6382 -a 123 info replication

四、从库切为主库,模拟主库故障

redis-cli -p 6380 -a 123 shutdown

redis-cli -p 6381 -a 123
info replication
slaveof no one

6382链接到6381：
[root@db03 ~]# redis-cli -p 6382 -a 123
127.0.0.1:6382> SLAVEOF no one
127.0.0.1:6382> SLAVEOF 127.0.0.1 6381

redis-sentinel（哨兵）

一、监控
二、自动选主，切换（6381 slaveof no one）
三、2号从库（6382）指向新主库（6381）
四、应用透明

sentinel搭建过程

mkdir /data/26380
cd /data/26380

cat >> sentinel.conf << EOF
port 26380
dir "/data/26380"
sentinel monitor mymaster 127.0.0.1 6380 1
sentinel down-after-milliseconds mymaster 5000
sentinel auth-pass mymaster 123 
EOF

启动：

redis-sentinel /data/26380/sentinel.conf &

若是有问题：
一、从新准备1主2从环境
二、kill掉sentinel进程
三、删除sentinel目录下的全部文件
四、从新搭建sentinel

停主库测试：

[root@db01 ~]# redis-cli -p 6380
shutdown

[root@db01 ~]# redis-cli -p 6381
info replication

启动源主库（6380），看状态。

Sentinel管理命令：

redis-cli -p 26380

PING ：返回 PONG 。
SENTINEL masters ：列出全部被监视的主服务器
SENTINEL slaves <master name> 
SENTINEL get-master-addr-by-name <master name> ： 返回给定名字的主服务器的 IP 地址和端口号。 
SENTINEL reset <pattern> ： 重置全部名字和给定模式 pattern 相匹配的主服务器。 
SENTINEL failover <master name> ： 当主服务器失效时， 在不询问其余 Sentinel 意见的状况下， 强制开始一次自动故障迁移。

8、redis的高性能和高可用

高性能：

一、在多分片节点中，将16384个槽位，均匀分布到多个分片节点中
二、存数据时，将key作crc16(key),而后和16384进行取模，得出槽位值（0-16383之间）
三、根据计算得出的槽位值，找到相对应的分片节点的主节点，存储到相应槽位上
四、若是客户端当时链接的节点不是未来要存储的分片节点，分片集群会将客户端链接切换至真正存储节点进行数据存储

高可用：
在搭建集群时，会为每个分片的主节点，对应一个从节点，实现slaveof的功能，同时当主节点down，实现相似于sentinel的自动failover的功能。

一、redis会有多组分片构成（3组）
二、redis cluster 使用固定个数的slot存储数据（一共16384slot）
三、每组分片分得1/3 slot个数（0-5500 5501-11000 11001-16383）
四、基于CRC16(key) % 16384 ====》值 （槽位号）

规划、搭建过程：

6个redis实例，通常会放到3台硬件服务器 注：在企业规划中，一个分片的两个分到不一样的物理机，防止硬件主机宕机形成的整个分片数据丢失。