Spark2.x与ElasticSearch的完美结合

ElasticSearch（简称ES）是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RestFul web接口。ElasticSearch是用Java开发的，并做为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，可以达到实时搜索，稳定，可靠，快速，安装使用方便的目地，当前在各大公司使用很是广泛。而Spark是基于分布式内存的高性能计算框架，用来处理大量的数据。本篇文章，我将与你们探讨如何用Spark从ES中加载数据，并将数据保存到ES里面。

1. FEA-spk集成ElasticSearch

FEA-spk技术，它的底层基于最流行的大数据开发框架Spark，对各类算子的操做都是基于DataFrame的。使用FEA-spk来作交互分析，不但很是简单易懂，并且几乎和Spark的功能同样强大，更重要的一点是，它能够实现可视化，处理的数据规模更大，能够进行分布式的机器学习等。

Spark2.x与ElasticSearch的完美结合，大大丰富了FEA-spk的业务处理能力。

2. FEA处理ElasticSearch的原语实现

（1） 建立spk的链接

（2） 建立ElasticSearch的链接

（3） 加载数据到ES中

数据的格式以下表所示

能够看到数据有一亿多条，73个字段，数据量仍是比较大的。

（4）查看一下df1表的前十行

（5） 下面将df1表的数据写回到ES里面，其中spark是index,people是type。

因为数据量比较大，因此咱们选择后台运行。

进入spark web界面，查看运行状况。

能够看到花费了3.6h,若是可以再调优一下，可能花费的时间更短

若是对个人文章感兴趣，请帮忙点个赞噢。