Kafka分区原理简图

Kafka分区原理简图

最近在用kafka做为消费队列，看的网上对分区的工做原理都是文字描述比较多，因此特意画了简图分享出来

1. Kafka写入数据是随机写入某一个分区，每一个分区内的数据是按照顺序的，以下图，每一个分区的入库的数量并不一致
2. Kafka消费时，若是只有一个进程，那么只能消费某一个分区的数据（随机监听某一个），当前分区消费完成后才会经过reblance过程，选择其余分区去消费。（若是当前分区一直有数据，那么其余分区的数据就会延迟消费）
3. 为了减小延迟消费和提高消费效率，建议消费的进程数和分区数保持一致，这样就不会有reblance过程，数据无论落到哪个分区，都能被当即消费到