Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory

这篇文章是我在粗略学习kafka时遇到的问题和网上查阅过的资料。kafka和java我都不是很熟悉，只知道基本的概念。文章中可能有疏漏和错误的地方，你们参考一下就好。有错误拜托你们指正！php broker端 配置文件须要配置的参数 message.max.bytes : kafka 会接收单个消息size的最大限制， 默认为1M左右。若是producer发送比这个大的消息，kafka默认会丢掉。

>>阅读原文<<