生产环境Docker部署ELK跨区访问kafka不通问题的解决

因为分布式系统的日志集中采集的需求很是强烈，咱们组经过调研和实践搭建了一套基于Docker的日志收集系统Amethyst。

咱们首先在测试环境搭建了一套基于Docker swarm集群的ELK分布式环境。

测试云

docker swarm 配置：

[elastic@host-10-191-51-44 ~]$ docker node ls
ID                            HOSTNAME            STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
qjdc5dhfauxz9b6bxlj12k0b4 *   host-10-191-51-44   Ready               Active              Reachable           18.09.4
sn0uy2i8rwfpk1z8jjwkmb3un     host-10-191-51-45   Ready               Active              Reachable           18.09.4
rjsxhmbrstpxadw9vc4rzbc4e     host-10-191-51-46   Ready               Active              Leader              18.09.4
xl24brlx3b6r1r9bm22nl3s95     host-10-191-51-47   Ready               Active                                  18.09.4

四台linux主机配置各为：

Kernel Version: 3.10.0-327.el7.x86_64
Operating System: CentOS Linux 7 (Core)
OSType: linux
Architecture: x86_64
CPUs: 8
Total Memory: 15.51GiB　　

Docker swarm service包括

NAME                SERVICES            ORCHESTRATOR  
es                  4                   Swarm　　　　
kafka               3                   Swarm　　　　
kibana              1                   Swarm
log                 1                   Swarm
zk                  3                   Swarm

五种service关系以下图所示：

Filebeat主机和Amethyst处于同一个测试网网段，ip地址直接能够链接，状态一切正常，kibana里能够看见测试数据，因此咱们测试两个月后便准备投入生产，今后记录从评审开始遇到的主要问题。

评审阶段：

关键词：网络如何限流

解决办法：kafka consumer配额，Filebeat的压力感知功能能够在kafka限流时下降自身发送日志的速率。

参考 http://www.javashuo.com/article/p-zjsbyaen-mz.html

也考虑过使用容器tc限流，可是发现tc只能对输出流量作限制，故放弃。

第一次发布：

关键词：1) filebeat 跨区跨防火墙链接kafka IP地址不通.

               2) docker程序所属用户为manag

问题1：因为kafka的三个IP地址作了NAT映射，filebeat 中配置链接IP为kafka映射后的地址，链接kafka时，kafka会返回给filebeat注册到zookeeper的对外地址，也就是KAFKA_ADVERTISED_LISTENERS；这里出现一个问题：1）当咱们把kafka集群中的KAFKA_ADVERTISED_LISTENERS配置为映射前地址，kafka集群状态正常可是，filebeat链接时会收到kafka返回的映射前地址，因此filebeat没法链接，致使i/o wait。2）当咱们把kafka集群中的KAFKA_ADVERTISED_LISTENERS配置为映射后地址，会致使KAFKA集群之间没法通信，从而集群状态异常。

解决办法：

网络通信不使用IP地址的方式，经过主机名和/etc/hosts映射的方式通信，当把KAFKA_ADVERTISED_LISTENERS配置为主机名后，kafka返回给filebeat的地址就是hostname:port,这里只要在Filebeat主机中在/etc/hosts 添加映射后的IP和hostname关系即可以让filebeat得到hostname后依然能够找到映射地址。

问题2：这是由于咱们经过Docker启动进程时，默认会指定进程的uid为1000，而生产环境上uid=1000的用户正是manage用户，故docker启动的进程显示为manage所属。

解决办法：能够经过在docker swarm stack配置文件中指定服务uid来限定docker进程的名称。

 

第二次发布：

关键词：1) kafka集群状态异常致使

问题1: 当把kafka配置的KAFKA_ADVERTISED_LISTENERS修改成hostname后，发现各主机用hostname之间没法ping通，而在测试网中尝试都可以经过hostname ping通（后面了解应该是测试云的openstack内置的dns解析能够在openstack虚拟机外部解析hostname），这里想固然的修改elk集群中的/etc/hosts 各IP和主机映射；这时启动kafka集群状态仍是异常。在尝试在物理机上部署kafka后，集群状态就正常了；正准备让logstash从kafka里消费数据时发现logstash也没法读取kafka配置文件中的hostname，这里想到其实最初在kafka集群中添加/etc/hosts的操做应该是在各Docker内部完成！此时配置uid=“0”，启动kafka_stack和logstash_stack,在容器内部添加/etc/hosts条目。

解决办法：在kafka和logstash内部添加/etc/hosts条目。

 

研究方向：

kafka通信机制

docker的uid机制