ElasticSearch数据导入Hive

从ES往hive中导入数据其实有不少方式，最基本的方法就是用es-java-api获取数据而后导入到hdfs中，就完了。但这种方式太过复杂，且通用性不高。

下面介绍一种方便的导入方式：

须要用到ES-hadoop插件：

第一次须要安装插件：

  下载地址：https://github.com/elasticsearch/elasticsearch-hadoop#readme

add上面的jar包到hive

hive –e “add jarelasticsearch-hadoop-2.1.1.jar;”

（其实前面有写从hive索引数据入ES，其实方式是同样。）

假如在ES中有以下索引，mapping以下：

"mappings": {     "keyword": {         "properties": {             "cnt": {                 "type": "double"             },             "key": {                 "type": "string"             }         }     } }

 

则在hive中创建一个映射外表：

CREATE EXTERNAL TABLE default.test001 (     cnt    DOUBLE,     key    STRING  ) STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler' TBLPROPERTIES('es.resource' = 'wordcloud_keyword_ots/keyword','es.nodes'='10.130.2.46','es.port'='9200','es.field.read.empty.as.null'='false');

 

 

 

执行语句

Select cnt,key from default.test001 limit 10

 

注意事项：

1.es中的字段名称都要是小写，由于在创建hive映射表时，输入的大写字段名会转化成小写；致使字段会以小写的方式去es查找字段名；

2.不要直接使用这个映射外表，应定时今后表中把数据导入正式hive外表；

3.此映射外表没有建分区，固然也用不着，只需对表进行条件判断便可导出你想要的数据，这样更加方便；