sparkstreaming消费kafka数据,若是发生消息积压,如何处理?

1.首先是为何会发生消息积压? 缘由 在默认状况下,SparkStreaming 经过receivers(或者Direct方式)以生产者生产数据的速率接收数据。当Batch procecing time > batch interval 的时候,也就是每一个批次数据处理的时间要比SparkStreaming批处理间隔时间长;愈来愈多的数据被接收,可是数据的处理速度没有跟上,致使系统开会出现数据堆积
相关文章
相关标签/搜索