一第二天志采集中sparkstreaming消费kafka遇到的问题

目前小程序日志采集的项目流程： Flume监控Tomcat日志文件，将日志批次量的发送到kafka中，由SparkStreaming程序消费Kafka中的消息，进而将写到Mysql表中。 项目架构：Tomcat–>Flume–>Kafka–>SparkSreaming–>Mysql 优化以前遇到的问题： 1.Flume监控Tomcat日志文件时，所属进程容易挂。 2.Kafka没法接受单条消息大于

>>阅读原文<<