在以前的博文中,咱们介绍了Flink的网络堆栈如何从高级抽象到低级细节。 此系列网络堆栈帖子中的第二篇博客文章扩展了这一知识,并讨论了监视与网络相关的指标,以识别诸如背压或吞吐量和延迟瓶颈等影响。 虽然这篇文章简要介绍了如何处理背压,但将来的帖子将进一步研究调整网络堆栈的主题。 若是您不熟悉网络堆栈,咱们强烈建议先深刻阅读网络堆栈而后继续。html
监控apache
网络监控中最重要的部分多是监控背压,这种状况下系统接收的数据速率高于处理速度¹。这种行为将致使发送者受到压力,可能由两件事引发:网络
这多是由于接收器自己是背压,没法以与发送方相同的速率继续处理,或者被垃圾收集,缺乏系统资源或I / O暂时阻止。分布式
即便在这种状况下接收器没有(直接)涉及,咱们称发送器为背压,由于在同一台机器上运行的全部子任务共享的网络带宽可能超额预订。请注意,除了Flink的网络堆栈以外,可能还有更多的网络用户,例如源和接收器,分布式文件系统(检查点,网络附加存储),日志记录和指标。以前的容量规划博客文章提供了更多看法。日志
1若是您不熟悉背压以及它与Flink的交互方式,咱们建议您阅读2015年关于背压的博客文章。htm
原文链接https://flink.apache.org/2019/07/23/flink-network-stack-2.htmlci