关于goneaway及499

关于上面现象的分析以下

         问题描述：

                  接口偶发性出现接口耗时过长的状况

 

         根源：

                   “sockets的快速回收”机制被启动

 

简单代码+数据分析：

1.      经简单分析，耗时主要出如今链接数据库的方法：mysql_connect

2.      耗时基本为3s（3.001s,2.999s,3.000s）

 

进一步分析：

         因为耗时出如今php的mysql_connect函数上，从代码上基本上能够确认非业务逻辑问题；

         可能状况：

         一、Mysql_connect具体实现问题

                   经查看具体代码，未发现有异常。

         二、网络抖动

                   经抓包确认且不大可能为稳定为3秒，非此问题；

         三、DNS解析

                   经分析直接绑定HOST与DNS解析对比，确认非此问题；

         四、LVS抖动

                   根据出现时间，与LVS监控对比，确认非此问题

         五、mysql服务器配置或者mysql配置存在问题

         待分析

         ……

         最终确认：

         Mysql服务器配置问题，启动了“sockets的快速回收”机制

         根据运维和DBA对app机器即（Client端）到mysql服务（Server端）的tcp日志抓包中出现了passive connection rejected because of time stamp，且抓到了syn数据包，这个即标识tcp请求一次握手成功

 

 

为说明此问题，须要补充如下知识点：

（1）       公司的机器部署架构

大部分公司用LVS作负载均衡，一般是前面一台LVS，后面多台后端服务器，它便转发给后端服务器

（2）       TCP协议中的三次握手

（3）  “sockets的快速回收”机制

a)      目的：sockets快速回收

b)      行为解释：能够缓存每一个链接最新的时间戳，后续请求中若是时间戳小于缓存的时间戳，即视为无效，相应的数据包会被丢弃。

c)      涉及参数：tcp_timestamps和tcp_tw_recycle

i.       tcp_timestamps默认为1，tcp_tw_recycle默认为0

ii.      当tcp_timestamps与tcp_tw_recycle同时为1时，表示此机制开启

 

结论分析：

在有LVS作负载均衡的状况下，，对于后端服务器来讲，请求的源地址就是LVS的地址（（nat模式才会修改源地址，咱们用的都是dr模式）），加上端口会复用，

因此从后端服务器的角度看，本来不一样客户端的请 求通过LVS的转发，就可能会被认为是同一个链接，因而后面的数据包就被丢弃了。

具体的表现一般是是客户端明明发送的SYN，但服务端就是不响应ACK

                  

后续思考：

一、

既然必须同时激活tcp_timestamps和tcp_tw_recycle才会触发这种现象，那只要禁止 tcp_timestamps，同时激活tcp_tw_recycle，

就能够既避免丢包问题，又下降TIME_WAIT链接数量。若是服务器并不 依赖于RFC1323，那么这种方法应该也是可行的，不过最好多作测试，以防有其余的反作用。

二、为何是3s?

创建链接时SYN超时,若是server端接到了clien发的SYN后回了SYN-ACK后client掉线了，

server端没有收到client回来的ACK，那么，这个链接处于一个中间状态，即没成功，也没失败。

因而，server端若是在必定时间内没有收到的TCP会重发SYN-ACK。在Linux下，默认重试次数为5次，

重试的间隔时间从1s开始每次都翻售，5次的重试时间间隔为1s, 2s, 4s, 8s, 16s，总共31s，

第5次发出后还要等32s都知道第5次也超时了，因此，总共须要 1s + 2s + 4s+ 8s+ 16s + 32s = 2^6 -1 = 63s，

TCP才会把断开这个链接。但跟运维沟通以后咱们的重试机制时间间隔为3s。

三、安全起见，一般要禁止tcp_tw_recycle，至于TIME_WAIT链接过多的问题，能够经过激活tcp_tw_reuse来缓解

 

以上分析若有纰漏，麻烦指正，谢谢！