Spark+Kafka的Direct方式将偏移量发送到Zookeeper实现

2019独角兽企业重金招聘Python工程师标准>>> 　Apache Spark 1.3.0引入了Direct API，利用Kafka的低层次API从Kafka集群中读取数据，并且在SparkStreaming系统里面维护偏移量相关的信息，并且通过这种方式去实现零数据丢失(zero data loss)相比使用基于Receiver的方法要高效。但是因为是Spark Streaming系统自己维护

>>阅读原文<<