SparkStreaming集成Kafka,读取Kafka中数据,进行数据统计计算

简单了解一下Kafka:是一种高吞吐量的分布式发布订阅消息系统。依赖Zookeeper,所以搭建Kafka的时候须要事先搭建好Zookeeper。体系结构以下:html 当SparkStreaming与Kafka作集成的时候Kafka成了Streaming的高级数据源,因为Spark Streaming和Kafka集成的时候,依赖的jar包比较多,并且还会产生冲突。强烈建议使用Maven的方式来搭
相关文章
相关标签/搜索