因为机房断电,致使应用节点6个里面,忽然挂了4个节点java
一、使用top查看,java线程还在redis
二、查看程序日志,没有任何异常网络
三、使用curl 访问 "127.0.0.1:port"没有响应curl
四、使用jstack -l pid >> dump.txt 进行分析工具
发现存在大量相似的信息url
Locked ownable synchronizers:
- <0x000000008c727158> (a java.util.concurrent.ThreadPoolExecutor$Worker)线程
发现基本上所有都等待着线程 0x0000000087f053f83d
------------------------------------------------------------------------------------------------日志
最后检查了一下代码,发现jedis工具类是抄用了网上了,代码比较难看懂,可是能够看到设置了maxWaitMill,也没有任何使用scan的地方,因此不清楚为何会形成Pool.getResource死掉了。blog
----------------------------------------------------------------------------------------------------
最后通过金山云大神、芋艿、CMBC鹏程的指导下发现
由于jedis在2.4.1以后就不支持maxWait属性了,链接等待换成了maxWaitMillis,而若是采用旧的网上的写法,那么maxWaitMillis默认一直为-1,当redis服务出现网络或其余问题,就会堵死jedis Pool资源,致使程序假死,一直等待,因此若是使用了jedis,版本又大于2.4.1须要注意一下这个问题
-----------------------------------------------------------------------------------------------------
目前尚未修改线上的配置,等待下一次出现,再修改确认