Spark--06 SparkStreaming kafka消息堆积

问题:并发 当应用因为各类其它因素须要暂停消费时,下一次再次启动后就会有大量积压消息须要进行处理,此时为了保证应用可以正常处理积压数据,须要进行相关调优。oop 另外对于某个时刻,某个topic写入量突增时,会致使整个kafka集群进行topic分区的leader切换,而此时Streaming程序也会受到影响。spa 因此针对以上问题咱们进行了以下调优:线程 spark.streaming.con
相关文章
相关标签/搜索