Spark 和 kafka 集成 Spark Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher)

Kafka 0.10 与 Spark Streaming 流集成在设计上与0.8 Direct Stream 方法相似。它提供了简单的并行性，Kafka分区和Spark分区之间的1:1对应，以及对偏移量和元数据的访问。然而，因为新的集成使用了新的  Kafka consumer API 而不是简单的API，因此在使用方面有显著的差别。这个版本的集成被标记为实验性的，所以API有可能发生变化。htm

>>阅读原文<<