HDFS正常启动缓存
zookeeper正常安装bash
sw目录下的KAFKA解压安装服务器
tar zxvf kafka_2.11-0.11.0.2.tgzspa
mv kafka_2.11-0.11.0.2 ../md/3d
配置环境变量server
vi ~/.bash_profileblog
export KAFKA_HOME=/home/a/md/kafka_2.11-0.11.0.2get
export PATH=$KAFKA_HOME/bin:$PATHkafka
source ~/.bash_profileit
cd ~/md/kafka_2.11-0.11.0.2/config/目录下,修改server.properties,这里要注意启动几个kafka就要配置几个server.properties
server.properties主要配置参数
broker.id=0
delete.topic.enable=true 是否能够删除主题
listeners=PLAINTEXT://:9092 默认的端口,若是有多个的话,就要依次在每一个server.properties中设置listeners=PLAINTEXT://:9092 server1.properties listeners=PLAINTEXT://:9093,server2.properties listeners=PLAINTEXT://:9094
log.dirs=/home/a/md/kafka_2.11-0.11.0.2/data1 为kafka要缓存的数据位置,
zookeeper.connect=master:12181/kafka0.11 链接到zookeeper哪里,若是有多个zookeeper服务器都要以逗号隔开,所有写上。
kafka如何启动呢
启动第1个:kafka-server-start.sh -daemon ~/md/kafka_2.11-0.11.0.2/config/server1.properties
启动第2个:kafka-server-start.sh -daemon ~/md/kafka_2.11-0.11.0.2/config/server2.properties
...
如何查看kafka相关信息呢?
zkCli.sh -server master:12181
ls /
get /kafka0.11/brokers/ids/0
建立topic呢?
kafka-topics.sh --create -topic mykafka1 --zookeeper master:12181/kafka0.11 --partitions 3 --replication-factor 1
查看topic呢
kafka-topics.sh --list --zookeeper master:12181/kakfa0.11
删除topic
kafka-topic.sh --delete -topic -zookeeper master:12181/kafka0.11
经过zkCli.sh -server master:12181能够进行各类源信息的查询。
查询当前topic下面的全部记录数
kafka-run-classs.sh kafka.tools.GetOffsetShell --topic mykafka2 --broker-list master:9092,master:9093
查询topic在分区上的记录数
kafka-run-class.sh kafka.tools.GetOffsetShell --topic mykafka2 --broker-list master:9092,master:9093 --partitions 0
kafka-run-class.sh kafka.tools.GetOffsetShell --topic mykafka2 --broker-list master:9092,master:9093 --partitions 1
kafka-run-class.sh kafka.tools.GetOffsetShell --topic mykafka2 --broker-list master:9092,master:9093 --partitions 2
配置producer 和cusumoer进行通讯
producer生产数据
consumer接收数据