Elastic Static初识(01)

写在前面

Elastic Static 是指由Elasticsearch，Logstash，Kibana,Beats等组件结合起来而构成的一个数据收集，分析，可视化的一个架构.咱们常常据说过的ELK就是指前面三个,它可以安全可靠地获取任何来源、任何格式的数据，而且可以实时地对数据进行搜索、分析和可视化。

简单介绍

这里咱们从数据的流向来简单介绍下这几个组件.

1. 数据采集过程
能够采集人和来源,任何格式的数据

Beats
Beats 是轻量型采集器的平台，从边缘机器向 Logstash 和 Elasticsearch 发送数据。

Logstash
Logstash 是动态数据收集管道，拥有可扩展的插件生态系统，可以与 Elasticsearch 产生强大的协同做用。相似于 Hadoop 生态圈里的 Flume,整个采集的过程也是基于事务(event)的[这一点是经过codec的插件来作到]。一般在其.conf配置文件规定 logstash 如何处理各类类型的事务流，通常包含 input、filter、output 三个部分(域),在每个域中,可供选择多个插件来处理咱们的数据。

2. 数据搜索、分析和存储
Elasticsearch

Elasticsearch 是基于 JSON 的分布式搜索和分析引擎，专为实现水平扩展、高可用和管理便捷性而设计。ElasticSearch 也是基于 Lucene进行了封装,它能在一秒内返回你要查找的且已经在 Elasticsearch 作了索引的文档，提供了更为便利的访问和调用.它存储json格式的文档数据，有基于RESTful的操做接口。利用Elasticsearch能够方便的在任何Web应用中集成搜索应用。另外它更有出色的聚合功能（aggregation），能轻松的对数据进行统计分析 .这个组件也是整个stack的主角.

Elasticsearch 中的 Index 是一组具备类似特征的文档集合，相似于关系数据库模型中的数据库实例，Index 中能够指定 Type 区分不一样的文档，相似于数据库实例中的关系表，Document 是存储的基本单位，都是 JSON 格式，相似于关系表中行级对象。咱们处理后的 JSON 文档格式的日志都要在 Elasticsearch 中作索引，相应的 Logstash 有 Elasticsearch output 插件，对于用户是透明的。须要说明的是,ES6.0以后,好像规定一个Index下只可以定义一种Type,后面也会慢慢去掉Type这个概念,,最终,咱们就姑且把Index当作数据表来理解,Document当作数据表的行理解吧.

3. 数据可视化
Kibana实现数据可视化。导览 Elastic Stack。

Kibana 可以以图表的形式呈现数据，而且具备可扩展的用户界面，供您全方位配置和管理 Elastic Stack。简单来讲,Kibana 是在ElasticSearch 有了至关多的数据以后，进行分析,可视化数据用的工具。

ELK VS 大数据Hadoop/Spark

由于在日志处理等场景,不免会在技术选型上有所抉择?
简单来讲,对于普通的小型的数据量,PB级别吧对于ES来讲,没什么大的问题,并且,我的以为,ES的简便搭建维护,也是不错的选择.

可是当数据量暴增,咱们的集群数量也增长的状况下,就面临着,数据的分布式存储,就要考验H/S集群或者ES集群对于数据一致性的保证.

因为Elasticsearch集群中每一个节点都是状态维护者，在集群中网络不稳定的状况下(主节点丢失)就有可能出现集群脑裂（不一样的节点对master节点的选择出现了异常）

然而对于Haddop集群来讲,就存在主从namenode节点的概念,只会有一个节点来管理datanode的信息(并且仍是备份型的)

Elasticsearch拥有功能强大的聚合统计和全文搜索功能，能够轻松的用于网络问题分析，如404错误计数，页面浏览量，用户访问统计信息等。但它缺乏相似标准SQL中的join(链接)或子查询的功能。Elasticsearch不支持查询结果的额外处理或分析的中间数据的输出，也不支持数据集的转换（即一个100万行的表，使用分析处理后，成为另外一个100万行的表），故不太适合处理复杂的计算逻辑。

虽然Elasticsearch存在这些问题，可是它仍然是一个很是优秀的分布式计算框架，并且Elasticsearch能够很是方便的集成在hadoop中，咱们也能够用它优秀的数据检索能力来构造本身的查询系统.

---------------------好的,先就简单介绍到这里.接下来,会减小如何搭建一个本身的ES----------------