kafka的初次配置

1、安装启动 1 首先官网下载kafka安装包。

二、 解压并进入Kafka目录，笔者：D:\Kafka\kafka_2.12-0.11.0.0

三、 进入config目录找到文件server.properties并打开

四、 找到并编辑log.dirs=D:\Kafka\kafka_2.12-0.11.0.0\kafka-logs

五、 找到并编辑zookeeper.connect=localhost:2181

六、 Kafka会按照默认，在9092端口上运行，并链接zookeeper的默认端口：2181

七、 进入Kafka安装目录D:\Kafka\kafka_2.12-0.11.0.0，按下Shift+右键，选择“打开命令窗口”选项，打开命令行，输入：

（1）    启动zookeeper。

                .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

       （2）   启动kafka服务

                .\bin\windows\kafka-server-start.bat .\config\server.properties
复制代码

若是遇到以下错误：

一、错误: 找不到或没法加载主类 Files\Java\jdk1.8.0_1.0.1\lib\dt.jar;C:\Program 

 解决：在kafka安装目录中找到bin\windows目录中的kafka-run-class.bat中，加“”号，以下
复制代码

修改前：

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp %CLASSPATH% %KAFKA_OPTS% %*

修改后：

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %*

另外：CLASSPATH环境要配正确，

JAVA_HOME C:\Program Files\Java\jdk1.8.0_101

CLASSPATH .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar; （注意头部 .；）

2、简单介绍 1.主要功能

根据官网的介绍，ApacheKafka®是一个分布式流媒体平台，它主要有3种功能：

  a.发布和订阅消息流，这个功能相似于消息队列，这也是kafka归类为消息队列框架的缘由。

  b.以容错的方式记录消息流，kafka以文件的方式来存储消息流。

  c.能够再消息发布的时候进行处理。

2.使用场景

a.在系统或应用程序之间构建可靠的用于传输实时数据的管道，消息队列功能。

    b.构建实时的流数据处理程序来变换或处理数据流，数据处理功能。
复制代码

3.详细介绍

Kafka目前主要做为一个分布式的发布订阅式的消息系统使用，下面简单介绍一下kafka的基本机制

消息传输过程:

Producer即生产者，向Kafka集群发送消息，在发送消息以前，会对消息进行分类，即Topic，上图展现了两个producer发送了分类为topic1的消息，另一个发送了topic2的消息。

Topic即主题，经过对消息指定主题能够将消息分类，消费者能够只关注本身须要的Topic中的消息

Consumer即消费者，消费者经过与kafka集群创建长链接的方式，不断地从集群中拉取消息，而后能够对这些消息进行处理。