ELK学习总结（1-1）ELK是什么

一、elk 是什么 ？

     Elastic Stack（旧称ELK Stack），是一种可以从任意数据源抽取数据，并实时对数据进行搜索、分析和可视化展示的数据分析框架。（hadoop同一个开发人员）

     java 开发的开源的全文搜索引擎工具

     基于lucence搜索引擎的

     采用 restful - api 标准的

     高可用、高扩展的分布式框架

     实时数据分析的

     官方网站： https://www.elastic.co/products 

 

二、为何要用elk？

     服务器众多，组件众多，日志众多

     发现问题困难，技能要求高

     

     业务场景：《实时日志分析展示》

     日志主要包括系统日志、应用程序日志和安全日志。

     系统运维和开发人员能够经过日志了解服务器软硬件信息、检查配置过程当中的错误及错误发生的缘由。常常分析日志能够了解服务器的负荷，性能安全性，从而及时采起措施纠正错误。

     一般，日志被分散的储存不一样的设备上。若是你管理数十上百台服务器，你还在使用依次登陆每台机器的传统方法查阅日志。这样是否是感受很繁琐和效率低下。

     当务之急咱们使用集中化的日志管理，例如：开源的 syslog ，将全部服务器上的日志收集汇总。

     集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，通常咱们使用 grep 、 awk和 wc 等 Linux 命令能实现检索和统计，

     可是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法不免有点力不从心。

     开源实时日志分析 ELK 平台可以完美的解决咱们上述的问题， ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。

 

三、体系架构

 

 

工做原理以下如所示：

 

在须要收集日志的全部服务上部署 logstash ，其中 logstash agent （ logstash shipper ）用于监控并过滤收集日志，将过滤后的内容发送到 logstash indexer ， logstash indexer 将日志收集在一块儿交给全文搜索服务 ElasticSearch ，

能够用 ElasticSearch 进行自定义搜索

经过 Kibana 来结合自定义搜索进行页面展现。

 

三、elk的技术架构

     gateway：hdfs、Amazon S三、Local FileSystem、Shared FileSystem

     Index module、Search module、 Mapping、River（引入异构数据的插件机制：RabbitMQ-River、Twitter-River）

     zen和ec2---zk、scripting（mvel、python、js等）

     第三方插件（Head、）

     Transport（Thrift、Memcached、Http）

     Java（Netty）

     restful 和 curl

 

四、elk的基本概念

     node 和 cluster

     index（数据库）->type（表）->document（行）->field （字段）

     shards 分片

     replicas 复制

 

五、其余全文搜索

     Solr：文本支持强，html、pdf、word、excel、cvs

     Elasticsearch：实时数据分析，支持json格式

     splunk：

 

六、resftful风格

七、curl

     curl www.baidu.com

     curl -o baidu.txt www.baidu.com

     curl -O www.baidu.com/xxx.html

     curl -i   www.baidu.com 显示HTTP头信息

     curl -v  www.baidu.com 显示过程

     curl -X GET/PUT/POST/DELETE www.baidu.com

 

八、查看官方api

     单模式：

     多模式：