通向ES的高速公路

1、背景

随着互联网的发展和Elasticsearch（如下简称ES）技术的成熟，愈来愈多的企业、政府单位将产生或者得到大量的数据，用ES进行全文搜索和分析。

维基百科使用Elasticsearch来进行全文搜索并高亮显示关键词，以及提供search-as-you-type、did-you-mean等搜索建议功能。

英国卫报使用Elasticsearch来处理访客日志，以便能将公众对不一样文章的反应实时地反馈给各位编辑。

StackOverflow将全文搜索与地理位置和相关信息进行结合，以提供more-like-this相关问题的展示。

GitHub使用Elasticsearch来检索超过1300亿行代码。

Goldman Sachs天天使用它来处理5TB数据的索引，还有不少投行使用它来分析股票市场的变更。

……

伴随上述大数据而来的是数据分析，企业和政府单位都会经过分析数据（数据经营、探索、分析）得到分析结果，并把分析结果大量的运用企业的产品营销或者政府决策上面。而kibana插件在其中起了重要的做用。kibana是一个为 ElasticSearch 提供的数据分析的 Web 接口，可对数据进行高效的搜索、可视化、分析等各类操做，形象地展现数据的变化趋势和分布统计状况。

虽然有了上述的种种优势，但ElasticSearch的安全性与易用性仍饱受争议。从有鉴于此，咱们开发出了ESQL工具，用以下降应用程序和用户使用ES难度，为用户提供SQL接口与访问控制能力。一方面，经过ESQL的防御实现客户端与ES集群的安全隔离。另外一方面，ESQL工具能够简化使用，可快速在ES上现实高级检索、复杂逻辑运算、安全控制等功能。而kibana的发展受限于ElasticSearch，没法提供用户自助式的服务。即将出炉的FEA3版本推出了KA自助分析插件（如下简称KA），让FEA和ES结合的更加紧密无间，更加适应FEA的一站式敏捷分析。个人数据我作主，让数据分析再也不难懂！

2、KA的优点

1、全部data无需记忆，全部数据信息一目了然

不只显示了表格数据，还可经过图表展现该数据统计信息。

2、分析自助，不懂SQL也能进行数据分析

只需鼠标轻点几下，便可完成数据分析。例如会自动排列出重复出现次数最多的前5个字段的值，鼠标点击该区域便可显示出全部包含该字段内容的数据。

3、比传统SQL强大

能够根据时间序列、IP范围、地址等字段来进行数据聚合

看不清楚，那就再放大一点

以时序字段insert_stamp_string为例，按天设置间隔选择day，让咱们来看一下统计的结果

怎么样，是否是很easy，对时序数据的处理，就是鼠标轻轻一点这么简单。

化繁为简以后，使得数据分析的门槛大大下降，应用场景也越加丰富。看到上面的折线图，有没有想到股市里的K线图。没错，股市也是KA自助分析适用的一大场景，你能够根据不一样的时序自由调整进行数据统计分析。而按照IP范围或者地址等字段的分析应用，对网络安全的态势感知、地域分布的数据统计分析等场景来讲正是恰到好处。

固然，享受该种便利也是有前提条件的，数据必须是按照ES标准格式构建的。

4、KA与FEA完美结合，方便对数据进行深刻的分析处理

同kibana同样，KA自己不支持机器学习、更多的图表展示。将KA与FEA结合以后，可以将数据加载到DF表作更加复杂更加深刻的分析运算，支持的图表也更加丰富多样。

将ES数据添加到DF表

将分析数据存储到数据库或者数据文件，确保数据不丢失。

将ES数据存储到ssdb数据库

FEA前进一小步，分析师方便一大步！赶快来参与体验吧，你就是那个数据分析专家！