kafka笔记2

Kafka是使用java开发的程序，因此它能够运行在多种操做系统上，安装Kafka以前，须要先安装Java环境，再安装zookeeper

broker常规配置

1.broker.id

每一个broker都须要有一个标识符，使用broker.id来表示，在整个集群上必须惟一，建议把他们设置成与机器名具备相关性的整数。

2.port

默认状况下启动Kafka，它会监听9092端口，也能够设置其余端口。

3.zookeeper.connect

用于保存broker元数据的zookeeper地址，相似localhost：2181，表示这个zookeeper运行在本地的2181端口上。

4.log.dirs

Kafka把消息保存在磁盘上，地址用log.dirs指定，它是一组逗号分隔的本地文件系统路径。

5.num.recovery.threads.per.data.dir

正常启动或者重启后Kafka使用可配置的线程池处理消息片断，设置大量线程能够节省时间。这个数字乘以log.dirs获得总的线程数。

6.auto.create.topics.enable

是否显式建立主题，若是手动建立，能够设为false。

Kafka默认设置

1.num.partitions

一个主题须要多少分区

2.log.retention.ms

数据能够保留多久，默认是168小时

3.log.retention.bytes

每一个分区保留数据的最大字节数，若是设置为1G，当前主题8个分区，则这个主题最多保存8G数据。

4.log.segment.bytes

日志片断的最大长度

5.log.segments.ms

日志片断多长时间会被关闭，和上一个条件在一块儿，只要一个获得知足，日志片断就会被关闭。

6.message.max.bytes

单个消息的大小，默认是1000000（1MB），若是生产者发送的消息超过这个，就会收到错误信息。