记一次Strom任务失败致使的大量重复数据

问题： 大量的failed，致使storm大量重复数据。 缘由： spout的消息队列过大，bolt处理不过来，产生大量堆积。加上每条消息处理完成的最大默认时间是30S，若是30S没有处理完成就会认为失败。ack机制，不停的重复发送。ide 解决： 修改两个参数： topology.message.timeout.secs: 30 topology.max.spout.pending:null o

>>阅读原文<<