Flume+Kafka+SparkStreaming启动命令笔记

1.将日志产生程序写入crontab中：

crontab -e

#每一分钟执行一次
*/1 * * * * /home/qian/data/project/log_generator.sh

进入logs日志文件中：tail -f access.log

定时脚本添加成功

2.开启ZK:

 

zkServer.sh start

 

 

 

3.开启kafka-server：

 

kafka-server-start.sh -daemon \
/home/qian/app/kafka_2.11-0.9.0.0/config/server.properties

 

 

 

 

3.开启flume agent：

 

flume-ng agent \
 --name exec-memory-kafka \
 --conf $FLUME_HOME/conf/ \
 --conf-file ~/data/project/streaming_project2.conf \
 -Dflume.root.logger=INFO,console

 

 

 

4.开启sparkstremaing(只作了简单的计数操做）：

（1）在IDEA中执行scala代码，控制台以下：

 

 

(2)在git-bash中打成jar包：

mvn clean package -DskipTests

 

（3）打包成功上传到服务器上：

 

 （4）在服务器上运行上传的jar包。