MCQ消息丢失排查

此队列特征延迟消费，约定*分钟时间没到从新入队。

在此期间消息丢失，致使不能正常被消费。

1、问题分析：

• tcp协议很是可靠，不多是异常丢消息。
• 队列中只有特定内容的消息出现异常丢失，网络也并没有异常
• 初步怀疑有人故意消费

2、问题排查：

    业务提供：一、出现问题的消息内容； 二、队列名；三、消费详情

    服务日志：一、因为服务端只记录写入消息，并不记录写入源于，消费源

                        二、排查发现写入（服务端日志写入队列数目）的总比正常消费（业务提供消费数目）的多一天。

                        三、抓包获取消费ip

    抓包分析详情以下：

    一、tcpdump -i eth1 -s0 -w test.pcap port XXXX，（注意添加port，要否则抓的包会很大）

    二、使用wireshark检索关键字(丢失消息关键字)查看：

    

    三、发现异常ip，定位问题，果真有人在偷偷消费。

3、结论：

    一、这个问题虽然很简单,可是是须要业务方与dba相互配合完成的，缺一不可。

    二、咱们须要完美的结合tcpdump与Wireshark相关工具进行辅助，不得不说wireshark的检索功能很赞。值得学习