压测过程当中出现ops断崖式下跌缘由及排解

压测机器： 100台docker

redis集群：16个分片

在开始压测的半个小时中，一直很稳定，ops稳定在20w左右。可是接下来忽然ops断崖式下跌，ops降到了3w如下。而后持续一段时间，直至变为0。

问题排查:

1. 检查docker

docker都很健康，cpu占用率，内存占用率都正常，不到30%。网络情况也很好。

2. 检查mq

mq也正常，响应时间没有被能够拉长

3. 检查redis集群

redis集群中，发现全部分片内存基本上被打满

因为内存被打满，致使redis会强制进行键驱逐操做，此操做会拉长请求的响应时间，致使大量请求被阻塞。此时会有大量客户端链接操做：

果不其然，能够看到大量客户端链接瞬间涌入，形成总体的ops降低。

解决方案：

清理掉压满的分片便可。或者采起扩容方案。