ELK + Kafka + Filebeat

ELK + Kafka + Filebeat学习

https://blog.csdn.net/qq_21383435/article/details/79463832

https://blog.csdn.net/xiangyuan1988/article/details/78977471

https://www.jianshu.com/p/f149a76ea5b5

https://blog.csdn.net/qq_21383435/article/category/7486820

ELK + Kafka + Filebeat学习 目录： 一、ELK + Kafka + Filebeat架构 二、为何要使用ELK 三、验证流程：Filebeat->Logstash->Kafka->Logstash->Elasticsearch->Kibana

1 ELK + Kafka + Filebeat架构

图1.1 ELK + Kafka + Filebeat架构图

l Filebeat：

日志采集。

l Logstash：

官网描述：Logstash：Collect，Enrich and Transport。收集，丰富和传输，Logstash是用于管理事件和日志的工具。可使用它来收集日志，解析它们，而后存储它们以备之后使用（例如用来搜索）。

l Shipper：

在每一个目标系统上运行的客户端，负责收集日志消息。

l Kafka：

做为消息队列解耦了处理过程，同时提升了可扩展性。具备峰值处理能力，使用消息队列可以使关键组件顶住突发的访问压力，而不会由于突发的超负荷的请求而彻底崩溃。

l Kerberos：

基于共享秘钥对称加密的安全网络认证系统，它避免了将密码在网络上传输，而是将密码做为对称加密的秘钥，经过是否可以解密来验证用户的身份。

l Indexer：

负责按管理员指定的方式，聚集日志并转发日志给elasticsearch。

l Elasticsearch：

官网描述：Elasticsearch：Store，Search and Analyze。存储，搜索和分析，用于存储全部的日志。

l Search Guard：

Search Guard是Elasticsearch的安全插件。它为后端系统（如Kerberos）提供身份验证和受权，并向Elasticsearch添加审核日志记录和文档/字段级安全性。

l Kibana：

官网描述：Kibana：Explore，Visualize and Share。浏览，可视化和分享，为Logstash和ElasticSearch提供日志分析友好的Web界面，帮助汇总、分析和搜索重要数据。

2 为何要使用ELK l 开发能够经过登陆到Kibana拿到日志，而再也不须要经过运维，减轻运维的工做，同时运维也方便进行管理；

l 能够解决单个日志文件巨大，经常使用的文本工具难以分析，检索困难；

l 日志种类多，分散在不一样的位置难以查找，经过ELK能够进行统一管理；

3 验证流程：Filebeat->Logstash->Kafka->Logstash->Elasticsearch->Kibana 软件版本说明：

Filebeat版本：5.2.1

Logstash版本：5.2.2

Kafka版本：0.10.1

Elasticsearch版本：5.2.2

Kibana版本：5.2.2

jdk版本：1.8.0_112

（1）filebeat是经过yum进行安装的，所以修改filebeat配置文件/etc/filebeat目录下filebeat.yml文件对应的output.logstash中logstash的host位置，以及配置监控的日志文件的路径，这里监控的是在/root/remoa目录下的dengqy.log日志文件。

图3.1 截图1

图3.2 截图2

（2）查看kafka中broker服务器的hosts位置：

图3.3 截图3

（3）查看Elasticsearch中服务器的host位置：在/opt/package/elasticsearch-5.2.2/config目录下查看elasticsearch.yml文件中的host的ip地址及运行HTTP服务的端口，端口注释即便用默认端口9200。

图3.4 截图4

（4）查看用于Elasticsearch身份验证的keys文件位置：

图3.5 截图5

（5）配置remoatest2.conf文件做为filebeat input logstash以及logstash output kafka。

[plain] view plain copy <span style="font-size:14px;"><span style="font-family:'Times New Roman';">input {
beats{
port => 5044
}
}
output {
stdout{codec => rubydebug}
kafka{
topic_id => "dengqytopic"
bootstrap_servers => "hdp1.example.com:9092"
security_protocol => "SASL_PLAINTEXT"
sasl_kerberos_service_name => "kafka"
jaas_path => "/tmp/kafka_jaas.conf.demouser"
kerberos_config => "/etc/krb5.conf"
compression_type => "none"
acks => "1"
}
}</span></span>
（6）配置remoatest3.conf文件做为kafka input logstash以及logstash output elasticsearch。

[plain] view plain copy <span style="font-size:14px;"><span style="font-family:'Times New Roman';">input{
kafka{
bootstrap_servers => "hdp1.example.com:9092"
security_protocol => "SASL_PLAINTEXT"
sasl_kerberos_service_name => "kafka"
jaas_path => "/tmp/kafka_jaas.conf.demouser"
kerberos_config => "/etc/krb5.conf"
topics => ["dengqytopic"]
}
}
output{
stdout{
codec => rubydebug
}
elasticsearch{
hosts => ["kdc1.example.com:9200","kdc2.example.com:9200"]
user => logstash
password => logstash
action => "index"
index => "logstash-dengqy-%{+YYYY.MM.dd}"
truststore => "/opt/package/logstash-5.2.2/config/keys/truststore.jks"
truststore_password => whoami
ssl => true
ssl_certificate_verification => true
codec => "json"
}
}</span></span>
（7）启动消费者监控：

KAFKA_HEAP_OPTS="-Djava.security.auth.login.config=/usr/hdp/current/kafka-broker/config/kafka_client_jaas.conf -Xmx512M" /opt/package/kafka_2.10-0.10.1.0/bin/kafka-console-consumer.sh --topic dengqytopic --bootstrap-server hdp1.example.com:9092 --from-beginning --consumer.config /opt/package/kafka_2.10-0.10.1.0/config/consumer.properties

图3.6 截图6

（8）启动remoatest2.conf脚本：

bash ../bin/logstash -f remoatest2.conf

图3.7 截图7

（9）启动remoatest3.conf脚本：

bash bin/logstash -f config/remoatest3.conf

图3.8 截图8

（10）启动filebeat收集：

service filebeat start

图3.9 截图9

（11）查看到remoatest3.conf中配置的stdout{codec => rubydebug}标准输出：

图3.10 截图10

（12）查看到remoatest2.conf中配置的stdout{codec => rubydebug}标准输出：

图3.11 截图11

（13）查看到消费者中处理日志：

图3.12 截图12

（14）在Kibana中查看到对应的index：

GET _cat/indices

图3.13 截图13

（15）查看该index详细内容，数据总量及数据内容一致，即存入elasticsearch中成功：

GET logstash-dengqy-2017.09.08/_search

图3.14 截图14

https://blog.csdn.net/remoa_dengqinyi/article/category/7153570