spark streaming 监控方案

SparkStreaming监控从spark2.2.0版本开始支持，目前不支持2.1.0 调研背景介绍 业务反应sparkstreaming任务数据处理存在堆积情况，但是仍然会不断从kafka拉取数据，针对这种情况调研，给出解决的方案 问题现象描述 如果批处理时间始终大于批处理间隔或者队列等待延时持续增加，表明系统无法在批处理间隔内处理完毕消息，通过抽查sparkstreaming任务，发现部分任

>>阅读原文<<