kafka linux安装使用说明

kafka_2.11-1.1.0安装说明

说明：
jdk：jdk1.8
kafka版本：2.11-1.1.0

1、kafka安装
1.1 解压tar包
上传kafka_2.11-1.1.0.tgz到服务器，并解压

cd /data

tar –zxvf kafka_2.11-1.1.0.tgz

1.2 修改配置文件/config/server.properties

cd /data/kafka_2.11-1.1.0/config

vim server.properties

修改配置项说明：
#每个kafka节点具有唯一的broker.id
broker.id=0
#当前kafka服务侦听的地址和端口，端口默认是9092
listeners=PLAINTEXT://192.168.3.140:9092(存在内外网隔离，地址转换的情况时，需设置主机名，并将配置中的ip替换成主机名，例：listeners=PLAINTEXT:// znptnginx02:9092)

#kafka服务器的主机名（设置了主机名时添加）
host,name=you host name

#kafka公开的侦听的地址和端口，和listeners配置一致，listeners为ip地址则是ip地址，listeners是主机名，则配置主机名
advertised.listeners=PLAINTEXT://you host name:9092

#消息日志存放的路径
log.dirs=/data/kafka_2.11-1.1.0/logs

#连接的zk配置，多个zk集群用逗号隔开
zookeeper.connect=192.168.3.140:2181

添加以下参数，修改每次交互最大传输数据量，如下图：

#100M每次交互最大传输数据量
replica.fetch.max.bytes=104857600
message.max.bytes=104857600
2、创建topic
附：kafka操作命令
1)启动kafka的server
nohup ./bin/kafka-server-start.sh config/server.properties &

2)创建topic
外网为例，执行以下两条命令：
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic ww
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic ww_callback
3)查看创建好的topic
bin/kafka-topics.sh --list --zookeeper zookeeper:2181

2、创建配置库新用户
2.1内外网各建一个新用户，用于存放配置表
例：创建两个用户nw，ww
2.2新用户创建完，执行脚本新建ARDT_CONFIG，ARDT_PLAN，T_XT_DATASOURCE三张表。脚本见配置库脚本文件夹内。
2.3将各地区配置数据导入ARDT_CONFIG，T_XT_DATASOURCE，配置数据见配置库脚本文件夹内。
2.3.1 T_XT_DATASOURCE表配置字段说明

NAME:省局12366和北京上海12366都为sj12366,总局为zj12366。省局知识库为sjzsk,总局知识库为zjzsk
CONN_URL:该地址为12366系统连接的生产库地址和知识库连接的数据库地址
USERNAME: 12366系统和知识库连接的生产库用户
PASSWORD: 12366系统和知识库连接的生产库用户密码，改密码需加密处理后填写

2.3.2 ARDT_CONFIG表配置字段说明

IS_WORK:等于1时该任务开启，等于0 ，该任务关闭
DATA_SOURCE:与T_XT_DATASOURCE表中NAME字段一致
DATA_TOPIC:与各地区创建的一致。同一地区12366和知识库topic为同一个。例如：北京国税和北京知识库topic都为bjgs
Config_type:例，江苏到总局，就填写sj12366_to_zj12366。对应相应的DATA_SOURCE
TO_SOURCE:与到达的目标源NAME一致
注：T_XT_DATASOURCE数据插入后，name,conn_url,username,password根据实际修改
ARDT_CONFIG数据插入后，data_source,data_topic,to_source,config_type根据实际修改

启动 nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &