2.一、Linux下Kafka环境搭建及基本使用

1、kafka单节点单broker环境搭建

系统环境：centos 64位 mini
虚拟机：Virtual Box

若是你不熟悉virtual box的使用，不知道如何安装centos系统，能够参考以前发布的文章：

快速掌握基于Virtualbox最小化安装centos6及远程工具xshell使用

快速掌握virtualbox虚拟机搭建centos系统集群

若是你不想用virtual box，也能够使用docker，以前发布的文章也有介绍，请进入头条号查看

一、Windows下搭建单节点kafka环境

请参考以前发布在头条号上的文章，已经详细介绍了

1）JDK环境搭建

快速搭建Java（JDK）Tomcat基础开发环境

2）zookeeper环境搭建

Windows下安装zookeeper

3）kafka环境搭建

Windows下安装Kafka及简单使用

二、Linux下搭建

1）JDK环境搭建

下载：http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz

解压：

 

cd /usr/local/src

tar -zxvf jdk-8u181-linux-x64.tar.gz

mv jdk1.8.0_181 ../

配置：

 

cd /usr/local/jdk1.8.0_181

vim /etc/profile

 

export JAVA_HOME=/usr/local/jdk1.8.0_181

export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

验证：java -version

2）zookeeper环境搭建

• 下载

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz

• 解压

 

cd /usr/local/src

tar -zxvf zookeeper-3.4.12.tar.gz

mv zookeeper-3.4.12 ../

• 配置环境变量

 

cd /usr/local/zookeeper-3.4.12

mkdir data

mkdir logs

vim /etc/profile

 

export ZK_HOME=/usr/local/zookeeper-3.4.12

export PATH=$ZK_HOME/bin:$PATH

source /etc/profile

• 修改zoo.cfg

 

cp conf/zoo_sample.cfg conf/zoo.cfg

vim conf/zoo.cfg

dataDir=/usr/local/zookeeper-3.4.12/data

dataLogDir=/usr/local/zookeeper-3.4.12/logs

• 启动测试

zkServer.sh start

 

[root@jikeh zookeeper-3.4.12]# zkServer.sh start

ZooKeeper JMX enabled by default

Using config: /usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

• 查看启动进程信息

 

[root@jikeh local]# jps

3829 QuorumPeerMain

3848 Jps

​

[root@jikeh local]# jps -m

3858 Jps -m

3829 QuorumPeerMain /usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfg

注释：zookeeper启动后，会多一个进程QuorumPeerMain

3）kafka环境搭建

• 下载：

 

cd /usr/local/src

wget https://archive.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

注释：咱们使用的版本是0.9.0.1

• 解压：

 

tar -zxvf kafka_2.11-0.9.0.1.tgz

mv kafka_2.11-0.9.0.1 ../

• 配置环境变量：

vim /etc/profile

 

export KAFKA_HOME=/usr/local/kafka_2.11-0.9.0.1

export PATH=$KAFKA_HOME/bin:$PATH

使得环境变量当即生效：source /etc/profile

• 配置server.properties

 

cd /usr/local/kafka_2.11-0.9.0.1

vim conf/server.properties

server.properties重要参数说明：

 

broker.id=0//This must be set to a unique integer for each broker

advertised.listeners=PLAINTEXT://192.168.0.108:9092：远程链接须要配置下（0.9.0.1版本没有这个问题）

log.dirs=/usr/local/kafka_2.11-0.9.0.1/kafka-logs//默认的是不会持久化存储的，这里必须更改下

zookeeper.connect=//zookeeper的链接地址：根据实际进行配置

3）启动测试

配置你的hosts：

127.0.0.1 jikeh

启动zookeeper：

Kafka 使用 ZooKeeper 若是你尚未ZooKeeper服务器，你须要先启动一个ZooKeeper服务器。 您能够经过与kafka打包在一块儿的便捷脚原本快速简单地建立一个单节点ZooKeeper实例。

cd /usr/local/kafka_2.11-0.9.0.1

bin/zookeeper-server-start.sh config/zookeeper.properties

启动kafka：

bin/kafka-server-start.sh config/server.properties

后台启动：

bin/kafka-server-start.sh -daemon config/server-1.properties &

注释：一个server.properties其实，就能够当作一个broker

jps:查看当前运行的进程
jps -m:查看当前运行进程的详细信息

2、kafka基本使用

一、建立Topic

1）新建topic

查看命令的帮助信息：直接输入bin/kafka-topics.sh，而后enter，就能够查看全部的参数信息

bin/kafka-topics.sh --create --zookeeper 192.168.0.108:2181 --replication-factor 1 --partitions 1 --topic test

注释：参数说明

• replication-factor：设置副本数
• partitions：设置分区数

2）查看当前全部的topic列表

bin/kafka-topics.sh --list --zookeeper 192.168.0.108:2181

3）看下topic的详情信息

查看全部topic：

bin/kafka-topics.sh --describe --zookeeper 192.168.0.108:2181

查看指定topic：

bin/kafka-topics.sh --describe --zookeeper 192.168.0.108:2181 --topic test

二、发送消息

bin/kafka-console-producer.sh --broker-list 192.168.0.108:9092 --topic test

三、消费消息

bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning

 

[root@jikeh kafka_2.11-0.9.0.1]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic

Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].

上面的警告信息，表示：这是个废弃的用法，建议使用新的用法[bootstrap-server]

bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.108:9092 --topic test

注释：

• --from-beginning参数的做用：从新开始消费消息，无论是否已经被消费了

• 对于低版本的kafka须要这样链接：

  bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning

四、疑惑点

经过以上命令，不少人就有疑问了，到底何时跟zookeeper打交道，何时跟broker打交道呢，这很容易让人糊涂

建立topic我是跟zookeeper打交道，而生产、消费消息却与broker打交道，可是低版本的kafka，消费者仍是与zookeeper进行打交道的

注意：

低版本的kafka：须要这样消费

bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning

高版本的kafka：

bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.108:9092 --topic test --from-beginning

注释：官网上的文档，实际上是按高版本的kafka来更新文档的

为何会有这种区别呢？
Kafka consumers在早先的版本中，offset默认存储在ZooKeeper中。

3、kafka客户端远程链接测试

若是你理解上有困难，欢迎留言，或者参考视频教程：
带你看官网学习Kafka，掌握Linux下Kafka环境搭建及基本使用

参考 Kafka bootstrap-servers vs zookeeper in kafka-console-consumer 中说建议使用新版(新版本指的是kafka 0.8.0以后的版本)的 --bootstrap-server