Kafka实际使用过程当中遇到的一些问题及解决方法

Kafka实际使用过程当中遇到的一些问题及解决方法：

1.关于Kafka的分区：

开始使用Kafka的时候，没有分区的概念，觉得相似于传统的MQ中间件同样，就直接从程序中获取Kafka中的数据。 后来程序搭建了多套，发现永远只有一个消费者（消费者应用部署在多个tomcat上）会从Kafka中获取数据进行处理，后来才知道有分区这么一个概念。

具体不说了，网上有不少资料，总的归纳：Kafka的分区，至关于把一个Topic再细分红了多个通道，一个消费者应用能够从一个分区或多个分区中获取数据。 有4个分区，1个消费者：这一个消费者须要负责消费四个分区的数据。 有4个分区，2个消费者：每一个消费者负责两个分区 有4个分区，3个消费者：消费者1负责1个分区，消费者2负责1个分区，消费者3负责两个分区 有4个分区，4个消费者：一人一个 有4个分区，5个及以上消费者：4个消费者一人一个，剩下的消费者空闲不工做。

部署的时候尽可能作到一个消费者对应一个分区。

2.分区数据量不均衡：

Topic上设置了四个分区，压测过程当中，发现每一个分区的数据量差异挺大的，极端的时候，只有一个分区有数据，其他三个分区空闲。 解决方法，在用生产者生产数据的时候，send方法须要指定key。Kafka会根据key的值，经过必定的算法，如hash，将数据平均的发送到不一样的分区上。

3.spring-integration-kafka：

在使用spring-integration-kafka作消费者的时候，发现CPU和内存占用量占用很是的大，后来又发现无论生产者发送了多少数据，Kafka的Topic中一直没有数据，这时候才知道spring-integration-kafka会将Topic中的数据全拉到本地，缓存起来，等待后续的处理。 解决方法： <int:channel id="inputFromKafka"> <int:queue capacity="25"/> --这里加个配置，至关于缓存多少数据到本地 </int:channel>

做者：忙小懒 连接：http://www.jianshu.com/p/551954909f53 來源：简书 著做权归做者全部。商业转载请联系做者得到受权，非商业转载请注明出处。