spark接收kafka的数据运行spark程序节点的task数据倾斜

这是由于你的spark的slave节点和kafka的broker节点重合时，kafka的topic分区不均衡，没有分布在不一样节点上，spark拉取数据就近原则，在那里拉取就在该节点计算，你能够创建多个分区均衡在各个节点上。致使这个缘由是你的createDirectStream方法致使的，由于这个方法会本身映射你的kafka分区对应spark的分区，若是分区过少就会不均衡。

>>阅读原文<<