[大数据]连载No17之Kafka搭建+SparkStreaming整合Kafka

本次总结图如下 Kafka 特点: 1、分布式流平台,零拷贝,依赖zookeper,保存每一个消费者偏移量,kafka集群中一些元素(topic,partitions) 2、主从建构,需要每一个节点启动kafka进程,主(leader)是在集群启动后选举出来的,不是用户选择的,类似zookeper 概念: broker:每个节点 producer:消息生产者 consumer:消息消费者 topi
相关文章
相关标签/搜索