Redis学习

Redis

1、NoSQL概述

NoSQL（NoSQL = Not Only SQL），意即“不只仅是SQL”，泛指非关系型数据库，NoSQL能够解决大规模集合多重数据集合多重数据种类带来的挑战，尤为是大数据应用难题，包括超大规模数据的存储，不少类型的数据存储不须要固定的模式，无需多余操做就能够横向扩展。

NoSQL数据库种类繁多，可是一个共同的特色都是去掉关系数据库的关系型特性。数据之间无关系，这样就很是容易扩展。也无形之间，在架构的层面上带来了可扩展的能力。

NoSQL数据库都具备很是高的读写性能，尤为是在大数据量下，很优秀。且NoSQL的Cache是记录级的，是一种细粒度的Cache，因此NoSQL在这个层面上来讲就要性能高不少了。

NoSQL无需事先为要存储的数据创建字段，随时能够存储自定义的数据格式。而在关系数据库里，增删字段很麻烦。

3V+3高：

大数据时代的3V：海量Volume、多样Variety、实时Velocity

互联网需求的3高：高并发、高扩展、高性能

NoSQL数据模型简介：聚合模型：KV键值、Bson、列族、图形

NoSQL四大分类：

• KV键值

  • 新浪：BerkeleyDB + redis
  • 美团：redis + tair
  • 阿里、百度：memcache + redis

• 文档型数据库

  • CouchDB

  • MongoDB

    MongoDB是一个基于分布式文件存储的数据库。由C++编写，旨在为WEB应用提供可扩展的高性能数据存储解决方案

    MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系型数据库当中功能最丰富，最像关系数据库的。

• 列存储数据库

  • Cassandra、Hbase
  • 分布式文件系统

• 图关系数据库

  • 不放图形，放的是关系
  • 专一于构建关系图谱
  • Neo4J，InfoGrid

• 四者对比

分类	Examples举例	典型应用场景	数据模型	优势	缺点
键值（key-value）	Tokyo、Oracle BDB	内容缓存、主要用于处理大量数据的高访问负载，也用于一些日志系统等等	key指向Value的键值对，一般hash table来实现	查找速度快	数据无结构化，一般只能被看成字符串或者二进制数据
列存储数据库	Cassandra、HBase、Riak	分布式文件系统	以列簇存储，将同一列数据存在一块儿	查找速度快，可扩展性强，更容易进行细分	功能相对局限
文档型数据库	CouchDB、MongoDB	Web应用	key-Value对应的键值对，Value为结构化数据	数据结构要求不严格，表结构可变，不须要先定义表结构	查询性能不高，并且缺少统一的查询语法
图形数据库	Neo4J	社交网络，推荐系统等等	图结构	利用图结构相关算法	须要对整个图计算才能得到须要的结果

分布式数据库中CAP原理：

传统的ACID：

• A（Atomicity）原子性
• C（Consistency）一致性
• I（Isolation）独立性
• D（Durability）持久性

CAP：

• C：Consistency（强一致性）
• A：Availability（可用性）
• P：Partition tolerance（分区容错性）

CAP理论的核心：

一个分布式系统不可能同时很好的知足一致性，可用性和分区容错性这三个需求，最多只能知足两个！，所以，根据CAP原理将NoSQL数据库分红了知足CA原则、知足CP原则和知足AP原则三大类：

CA：单点集群，知足一致性，可用性的系统，一般在可扩展性上不太强大

CP：知足一致性，分区容忍性的系统，一般性能不是特别高

AP：知足可用性，分区容忍性的系统，一般能够对一致性要求低一些

But！！！，因为当前的网络硬件确定非出现延迟丢包等问题，因此 分区容忍性 是咱们必须须要实现的！因此咱们只能在一致性和可用性之间进行权衡，没有NoSQL系统能同时保证这三点。

对于Web2.0网站来讲，关系型数据库的不少主要特性每每无用武之地！

数据库事务一致性需求：

不少web实时系统并不要求严格的数据库事务，对读一致性要求很低，有些场合对写一致性并不高。容许实现最终一致性。

数据库的写实时性和读实时性需求：

对关系型数据库来讲，插入一条数据以后马上查询，是确定能够读出来这条数据的，可是对于不少Web应用来讲，并不要求那么高的实时性，比方说发一条消息以后，过几秒乃至十几秒以后，个人订阅者才看到这条动态是彻底能够接受的。

对复杂的SQL查询，特别是多表关联查询的需求：

任何大数据量的web系统，都很是忌讳多个大表的关联查询，以及复杂的数据分析类型的报表查询，特别是SNS类型的网站，从需求以及产品设计角度，就避免了这种状况的产生。每每更多只是单表的主键查询，以及单表条件分页查询，SQL的功能被极大的弱化了。

BASE：

BASE就是为了解决关系数据库强一致性引发的问题而引发的可用性下降而提出的解决方案

BASE其实就是下面三个术语的缩写：

基本可用（Basically Available）

软状态（Soft state）

最终一致（Eventually consistent）

它的思想是经过让系统放松对某一时刻数据一致性的要求来换取系统总体伸缩性和性能上改观。

分布式系统+集群：

分布式系统（distributed system）：

由多太计算机和通讯的软件组件经过计算机网络链接欸（本地网络或广域网）组成。分布式系统是创建在网络之上的软件系统。正是由于软件的特性，因此分布式系统具备高度的内聚性和透明性。所以和分布式系统之间的区别更多的在于高层软件，而不是硬件。分布式系统能够应用在不一样的平台上...

简单来讲：

分布式：不一样的多台服务器上面部署不一样的服务模块（工程），他们之间经过Rpc/Rmi之间通讯和调用，对外提供服务和组内协做。

集群：不一样的多台服务器上面部署相同的服务模块，经过分布式调度软件进行统一的调度，对外提供服务和访问。

2、Redis概述

Redis就是一个使用C语言开发的数据库，由于读写都在内存中进行，因此读写速度很是快，所以Redis被普遍应用于缓存方向

除了缓存，Redis也常常被用来作分布式锁，以及消息队列

Redis提供了多种数据类型来支持不一样的业务场景。Redis还支持事务、持久化、多种集群方案

Redis有三个特色：

• Redis支持数据的持久化，能够将内存中的数据保持在磁盘中，重启的时候能够再次加载进行使用
• Redis不只仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储
• Redis支持数据的备份，即master-slave模式的数据备份

假如用户第一次访问数据库中某些数据，这个过程就比较慢，毕竟是从硬盘中读取的，可是，若用户访问的数据属于高频数据而且不会常常改变的话，那么咱们就能够很放心的将该用户访问的数据存在缓存中！

这样就能够保证用户下一次再访问这些数据的时候就能够直接从缓存中获取了，操做缓存就是直接操做操做系统，因此速度至关快（注意要保持数据库和缓存中数据一致性）

3、Redis数据类型

3.1 Redis的五大数据类型

哪里去得到redis常见数据类型操做命令

• Redis键（key）

  keys *

  exists key的名字，判断某个key是否存在

  move key db ---> 当前库没有了，被移除

  expire key 秒钟：为给定的key设置国企时间

  ttl key 查看还有多少秒过时， -1表示永不过时， -2表示已通过期

  type key 查看你的key是什么类型

  1	DEL key
  该命令用于在 key 存在时删除 key。
  2	DUMP key
  序列化给定 key ，并返回被序列化的值。
  3	EXISTS key
  检查给定 key 是否存在。
  4	EXPIRE key seconds
  为给定 key 设置过时时间，以秒计。
  5	EXPIREAT key timestamp
  EXPIREAT 的做用和 EXPIRE 相似，都用于为 key 设置过时时间。 不一样在于 EXPIREAT 命令接受的时间参数是 UNIX 时间戳(unix timestamp)。
  6	PEXPIRE key milliseconds
  设置 key 的过时时间以毫秒计。
  7	PEXPIREAT key milliseconds-timestamp
  设置 key 过时时间的时间戳(unix timestamp) 以毫秒计
  8	KEYS pattern
  查找全部符合给定模式( pattern)的 key 。
  9	MOVE key db
  将当前数据库的 key 移动到给定的数据库 db 当中。
  10	PERSIST key
  移除 key 的过时时间，key 将持久保持。
  11	PTTL key
  以毫秒为单位返回 key 的剩余的过时时间。
  12	TTL key
  以秒为单位，返回给定 key 的剩余生存时间(TTL, time to live)。
  13	RANDOMKEY
  从当前数据库中随机返回一个 key 。
  14	RENAME key newkey
  修改 key 的名称
  15	RENAMENX key newkey
  仅当 newkey 不存在时，将 key 更名为 newkey 。
  16	SCAN cursor [MATCH pattern] [COUNT count]
  迭代数据库中的数据库键。
  17	TYPE key
  返回 key 所储存的值的类型。

• Redis字符串（String）

  String类型是Redis最基本的类型，能够理解成与Memcached如出一辙的类型，一个key对应一个value

  String类型是二进制安全的。便可以包含任何数据

  一个Redis中字符串value最多能够是512M

  序号	命令及描述
  1	SET key value
  设置指定 key 的值
  2	GET key
  获取指定 key 的值。
  3	GETRANGE key start end
  返回 key 中字符串值的子字符
  4	GETSET key value
  将给定 key 的值设为 value ，并返回 key 的旧值(old value)。
  5	GETBIT key offset
  对 key 所储存的字符串值，获取指定偏移量上的位(bit)。
  6	MGET key1 [key2..]
  获取全部(一个或多个)给定 key 的值。
  7	SETBIT key offset value
  对 key 所储存的字符串值，设置或清除指定偏移量上的位(bit)。
  8	SETEX key seconds value
  将值 value 关联到 key ，并将 key 的过时时间设为 seconds (以秒为单位)。
  9	SETNX key value
  只有在 key 不存在时设置 key 的值。
  10	SETRANGE key offset value
  用 value 参数覆写给定 key 所储存的字符串值，从偏移量 offset 开始。
  11	STRLEN key
  返回 key 所储存的字符串值的长度。
  12	MSET key value [key value ...]
  同时设置一个或多个 key-value 对。
  13	MSETNX key value [key value ...]
  同时设置一个或多个 key-value 对，当且仅当全部给定 key 都不存在。
  14	PSETEX key milliseconds value
  这个命令和 SETEX 命令类似，但它以毫秒为单位设置 key 的生存时间，而不是像 SETEX 命令那样，以秒为单位。
  15	INCR key
  将 key 中储存的数字值增一。
  16	INCRBY key increment
  将 key 所储存的值加上给定的增量值（increment） 。
  17	INCRBYFLOAT key increment
  将 key 所储存的值加上给定的浮点增量值（increment） 。
  18	DECR key
  将 key 中储存的数字值减一。
  19	DECRBY key decrement
  key 所储存的值减去给定的减量值（decrement） 。
  20	APPEND key value
  若是 key 已经存在而且是一个字符串， APPEND 命令将指定的 value 追加到该 key 原来值（value）的末尾。

• Redis列表（List）

  Redis 列表是简单的字符串列表，按照插入顺序排序。你能够添加一个元素致使列表的头部或者尾部，其底层实际是链表

  1	BLPOP key1 [key2 ] timeout
  移出并获取列表的第一个元素， 若是列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。
  2	BRPOP key1 [key2 ] timeout
  移出并获取列表的最后一个元素， 若是列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。
  3	BRPOPLPUSH source destination timeout
  从列表中弹出一个值，将弹出的元素插入到另一个列表中并返回它； 若是列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。
  4	LINDEX key index
  经过索引获取列表中的元素
  5	LINSERT key BEFORE|AFTER pivot value
  在列表的元素前或者后插入元素
  6	LLEN key
  获取列表长度
  7	LPOP key
  移出并获取列表的第一个元素
  8	LPUSH key value1 [value2]
  将一个或多个值插入到列表头部
  9	LPUSHX key value
  将一个值插入到已存在的列表头部
  10	LRANGE key start stop
  获取列表指定范围内的元素
  11	LREM key count value
  移除列表元素
  12	LSET key index value
  经过索引设置列表元素的值
  13	LTRIM key start stop
  对一个列表进行修剪(trim)，就是说，让列表只保留指定区间内的元素，不在指定区间以内的元素都将被删除。
  14	RPOP key
  移除列表的最后一个元素，返回值为移除的元素。
  15	RPOPLPUSH source destination
  移除列表的最后一个元素，并将该元素添加到另外一个列表并返回
  16	RPUSH key value1 [value2]
  在列表中添加一个或多个值
  17	RPUSHX key value
  为已存在的列表添加值

• Redis集合（Set）

  Redis的Set是String类型的无序集合。它是经过HashTable实现的

  1	SADD key member1 [member2]
  向集合添加一个或多个成员
  2	SCARD key
  获取集合的成员数
  3	SDIFF key1 [key2]
  返回第一个集合与其余集合之间的差别。
  4	SDIFFSTORE destination key1 [key2]
  返回给定全部集合的差集并存储在 destination 中
  5	SINTER key1 [key2]
  返回给定全部集合的交集
  6	SINTERSTORE destination key1 [key2]
  返回给定全部集合的交集并存储在 destination 中
  7	SISMEMBER key member
  判断 member 元素是不是集合 key 的成员
  8	SMEMBERS key
  返回集合中的全部成员
  9	SMOVE source destination member
  将 member 元素从 source 集合移动到 destination 集合
  10	SPOP key
  移除并返回集合中的一个随机元素
  11	SRANDMEMBER key [count]
  返回集合中一个或多个随机数
  12	SREM key member1 [member2]
  移除集合中一个或多个成员
  13	SUNION key1 [key2]
  返回全部给定集合的并集
  14	SUNIONSTORE destination key1 [key2]
  全部给定集合的并集存储在 destination 集合中
  15	SSCAN key cursor [MATCH pattern] [COUNT count]
  迭代集合中的元素

• Redis哈希（Hash）

  Redis Hash（哈希）是一个键值对集合，Redis Hash 是一个String类型的field和value的映射表，hash特别适合用于存储对象，相似于Java中的Map<String,Object>

  1	HDEL key field1 [field2]
  删除一个或多个哈希表字段
  2	HEXISTS key field
  查看哈希表 key 中，指定的字段是否存在。
  3	HGET key field
  获取存储在哈希表中指定字段的值。
  4	HGETALL key
  获取在哈希表中指定 key 的全部字段和值
  5	HINCRBY key field increment
  为哈希表 key 中的指定字段的整数值加上增量 increment 。
  6	HINCRBYFLOAT key field increment
  为哈希表 key 中的指定字段的浮点数值加上增量 increment 。
  7	HKEYS key
  获取全部哈希表中的字段
  8	HLEN key
  获取哈希表中字段的数量
  9	HMGET key field1 [field2]
  获取全部给定字段的值
  10	HMSET key field1 value1 [field2 value2 ]
  同时将多个 field-value (域-值)对设置到哈希表 key 中。
  11	HSET key field value
  将哈希表 key 中的字段 field 的值设为 value 。
  12	HSETNX key field value
  只有在字段 field 不存在时，设置哈希表字段的值。
  13	HVALS key
  获取哈希表中全部值。
  14	HSCAN key cursor [MATCH pattern] [COUNT count]
  迭代哈希表中的键值对。

• Redis有序集合Zset（SortedSet：有序集合）

  与Set不一样的是，每一个元素都会关联一个double类型的分数，redis正是经过分数来为集合中的成员进行从小到大的排序。zset的成员是惟一的，但分数（score）却能够重复

  1	ZADD key score1 member1 [score2 member2]
  向有序集合添加一个或多个成员，或者更新已存在成员的分数
  2	ZCARD key
  获取有序集合的成员数
  3	ZCOUNT key min max
  计算在有序集合中指定区间分数的成员数
  4	ZINCRBY key increment member
  有序集合中对指定成员的分数加上增量 increment
  5	ZINTERSTORE destination numkeys key [key ...]
  计算给定的一个或多个有序集的交集并将结果集存储在新的有序集合 key 中
  6	ZLEXCOUNT key min max
  在有序集合中计算指定字典区间内成员数量
  7	ZRANGE key start stop [WITHSCORES]
  经过索引区间返回有序集合指定区间内的成员
  8	ZRANGEBYLEX key min max [LIMIT offset count]
  经过字典区间返回有序集合的成员
  9	ZRANGEBYSCORE key min max [WITHSCORES] [LIMIT]
  经过分数返回有序集合指定区间内的成员
  10	ZRANK key member
  返回有序集合中指定成员的索引
  11	ZREM key member [member ...]
  移除有序集合中的一个或多个成员
  12	ZREMRANGEBYLEX key min max
  移除有序集合中给定的字典区间的全部成员
  13	ZREMRANGEBYRANK key start stop
  移除有序集合中给定的排名区间的全部成员
  14	ZREMRANGEBYSCORE key min max
  移除有序集合中给定的分数区间的全部成员
  15	ZREVRANGE key start stop [WITHSCORES]
  返回有序集中指定区间内的成员，经过索引，分数从高到低
  16	ZREVRANGEBYSCORE key max min [WITHSCORES]
  返回有序集中指定分数区间内的成员，分数从高到低排序
  17	ZREVRANK key member
  返回有序集合中指定成员的排名，有序集成员按分数值递减(从大到小)排序
  18	ZSCORE key member
  返回有序集中，成员的分数值
  19	ZUNIONSTORE destination numkeys key [key ...]
  计算给定的一个或多个有序集的并集，并存储在新的 key 中
  20	ZSCAN key cursor [MATCH pattern] [COUNT count]
  迭代有序集合中的元素（包括元素成员和元素分值）

Redis虽然说支持多线程，可是几乎只用单线程，由于其性能瓶颈不在于CPU、而是主要在内存与网络，只要是多线程就会存在死锁、线程上下文切换，可能会影响性能！

Redis经过IO多路复用程序来监听来自客户端的大量链接，它会将感兴趣的事件及类型(读、写）注册到内核中并监听每一个事件是否发生。

I/O 多路复用技术的使用让 Redis 不须要额外建立多余的线程来监听客户端的大量链接，下降了资源的消耗（和 NIO 中的 Selector 组件很像）。

Redis 经过一个叫作过时字典（能够看做是hash表）来保存数据过时的时间。过时字典的键指向Redis数据库中的某个key(键)，过时字典的值是一个long long类型的整数，这个整数保存了key所指向的数据库键的过时时间（毫秒精度的UNIX时间戳）。

5、Redis的持久化

RDB、AOF

RDB（Redis DataBase）：

在指定的时间间隔内将内存中的数据集快照写入磁盘，也就是行话讲的Snapshot快照，它恢复时是将快照文件直接读到内存里。

Redis会单首创建一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，在用这个临时文件替换上次持久化好的文件。

整个过程当中，主进程是不进行任何IO操做的，这就确保了极高的性能。若不对数据敏感，且大规模数据恢复，则RDB比AOF更高效！

缺点就是：最后一次持久化的数据可能会丢失

AOF（Append Only File）：

以日志的形式来记录每一个写操做，将Redis执行过的全部写指令记录下来（读操做不记录），只须追加文件但不能够改写文件，redis启动之初会读取该文件从新构造数据，换言之，redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工做

即：RDB持久化方式能够在指定时间间隔对数据进行快照存储，AOF持久化记录每次对服务器写的操做，但服务器重启时会从新执行这些命令来恢复原始的数据，AOF命令以redis协议追加保存每次写的操做到文件末尾，Redis还能对AOF文件进行后台重写，使得AOF文件的体积不至于过大！

同时开启两种持久化方式：redis重启时会优先载入AOF文件来恢复原始的数据，由于在一般状况下AOF文件保存的数据集要比RDB文件保存的数据集要完整。

6、缓存穿透

缓存穿透说简单点就是大量请求的 key 根本不存在于缓存中，致使请求直接到了数据库上，根本没有通过缓存这一层

解决

• 最基本的就是首先作好参数校验，一些不合法的参数请求直接抛出异常信息返回给客户端。好比查询的数据库 id 不能小于 0、传入的邮箱格式不对的时候直接返回错误消息给客户端等等。
• 缓存无效 key
• 布隆过滤器