记录Redis事故影响API性能-上篇

背景

• 线上服务报大量的Redis，相关依赖这个服务的其余产品线服务也报出一样的日志。

"Could not get a resource from the pool  org.springframework.data.redis.RedisConnectionFailureException: Cannot get Jedis connection; nested exception is redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool" 和 "Connect timed out” 
复制代码

• 截图线上日志

  

解决方法：

• 没有上线/相关请求的服务的流量和QPS都没有增长，故认为是redis 服务的问题，联系咱们运维查相关服务是否有异常。进过排查重启了一台哨兵服务节点，但不影响服务。
• 坚定认为是服务有问题并认为是某个节点的问题，尝试修改配置中redis 哨兵节点数来校验是否是redis 哨兵有问题，在咱们内部云平台中操做 修改配置并重启服务，还由于这个操做致使了商城一次15分钟的商城故障【得不偿失】。
• 通过两天 从查看代码，分析相关日志，咨询运维redis监控服务是否有相关问题，最后从redis 的慢查询监控有大量的keys 慢查询，最终肯定是keys 致使的，修改代码并在假日紧急上线，问题修复。

分析

为何redis 的keys 会致使服务拿不到资源，而且咱们有连接池，咱们带着这样的问题，咱们来剖析一下

• redis是单进程单线程实现的，若是你没有特殊的配置，redis内部默认是FIFO排队，即你对redis的访问都是要在redis进行排队，先入先出的串行执行。

• 经过分析 Jedis 内部的pom 来得知 jedis 的连接池的实现是基于common-pool2的连接池来实现的

从Jedis 中jar 包查看有三种连接池, 选择哪一个连接池取决于你的Redis的环境

• JedisPool-单节点模式
• JedisSentinelPool - 哨兵模式
• ShardedJedisPool-集群共享模式

咱们的服务用的哨兵模式，对于这几种的redis 连接池的实现方式 请下载源码自行查看，这块不是这篇文章的重点

• 咱们经过下面的图来看一下连接池的建立基本流程

  看这个图以前请先了解 common-pool2 实现池的概念和相关参数的解释【下次有时间我在讲解一下这块的源码】

  

• 先展现一下咱们系统的相关配置 和 这些配置对应的解释

  

找根因

​ 因为 redis单进程单线程的模式，当咱们使用keys 的时候查询很慢的时候，势必会阻塞后面client链接从而报获取不到资源, 这里面的前提条件是通过核实 redis 的链接数是没有达到咱们设置的链接池的最大数的

​ 这里面有个最大的疑问是，我都已经有链接池而且没有达到你设置的最大的链接池数量，为何报拿不到链接池的资源或则是链接超时呢，其实这里面最关键的配置是 max-idle和max-wait，so way， 其实经过上面的铺垫的知识就能够得出 redis 是单进程单线程 而且默认是FIFO排队机制，当个人最大空闲资源耗尽的时候须要经过TCP 方式 和 Redis Server 创建链接，同时因为keys 操做很耗时 因此这个建立在阻塞的而且当达到咱们max-wait 就会返回 获取不到链接池的资源或则是链接超时。

扩展

1. 经过上面的结论 咱们是否能够认为 调整 max-idle 和 max-wait 的设置 就能够解决这个问题，这个答案是否认的，只有解决性能问题才是最终解决方案。

2. Redis 这种特性用不用链接池都同样？

   虽然基于内存的Redis数据库有着超高的性能，可是底层的网络通讯却占用了一次数据请求的大量时间，由于每次数据交互都须要先创建链接，假设一次数据交互总共用时30ms，超高性能的Redis数据库处理数据所花的时间可能不到1ms，也便是说前期的链接占用了29ms，jedis直连方式，也就是每次new jedis都会新建tcp链接，使用后再断开链接，这对于频繁访问redis的场景显然不是高效的使用方式。链接池则能够实如今客户端创建多个连接而且不释放，当须要使用链接的时候经过必定的算法获取已经创建的链接，使用完了之后则还给链接池，这就免去了数据库链接所占用的时间。所以，一般会使用链接池的方式对Jedis链接进行管理，全部jedis对象会预先放在池子中（JedisPool），每次要链接redis，只须要在池子中借，用完了再归还给池子。客户端链接Redis使用的是TCP协议，直连的方式每次须要创建TCP链接，而链接池的方式是能够预先初始化好jedis链接，每次只须要从jedis链接池借用便可，借用和归还操做是在本地进行的，只有少许的并发同步开销，远远小于新建tcp链接的开销。此外，链接池的方式能够有效保护和控制资源的使用，而直连的方式没法限制jedis对象的个数，而且可能存在链接泄漏的状况。

3. 对于咱们链接哨兵模式 若是某一个节点挂掉了会不会出现 获取不到链接池和超时呢？且听下回分解

关联文章

​ 《记录Redis事故影响API性能-下篇》

做者：易企秀工程师 henry_chen