ElasticSearch经常使用插件整理

时间 2020-08-25

标签 elasticsearch 经常使用插件整理栏目日志分析繁體版

原文原文链接

说明

1) 素材来自互联网，针对部分插件，已经过实际操做验证，进而整理、总结造成。javascript

（感谢度娘、感谢互联网、感谢开源世界里的大牛）html

2) 若有谬误，请及时指出。html5

（咸鱼翻身，Email:defineconst@163.com，会不断更新本文档）java

3) 联系本人获取配置好的Elasticsearch1.6.0集成安装包。node

4) 插件地址：http://www.searchtech.pro/elasticsearch-plugins。python

5) 客户端地址：http://www.searchtech.pro/elasticsearch-clients。git

备注

Elasticsearch扩展性很是好，有不少官方和第三方开发的插件，下面以安装、分词、同步、数据传输、脚本支持、站点、其它、客户端这几个类别进行划分：github

1、安装ElasticSearch

1. 安装——验证

1）下载elasticsearch-1.6.0，解压，运行\bin\elasticsearch.bat （Windwos）web

下载地址：https://www.elastic.co/downloads/elasticsearch算法

2）进入http://localhost:9200/ 以下图

安装成功！

2. 插件——head

elasticsearch-head是一个elasticsearch的集群管理工具，它是彻底由html5编写的独立网页程序，能够经过插件把它集成到es，很方便对es进行各类操做的客户端。 (做者 Ben Birch)。

安装命令：\bin>plugin-install mobz/elasticsearch-head

安装完成后\plugins目录下会有head的文件夹。

进入http://localhost:9200/_plugin/head/ 以下图

3. 插件——bigdesk

bigdesk是elasticsearch的一个集群监控工具，能够经过它来查看es集群的各类状态，如：cpu、内存使用状况，索引数据、搜索状况，http链接数等。 (做者 Lukáš Vlček)

安装命令：\bin>plugin-install lukas-vlcek/bigdesk

进入http://localhost:9200/_plugin/bigdesk/ 以下图

1）nodes

2）clustor

2、分词插件

1. 插件列表

ComboAnalysis Plugin (做者 Olivier Favre, Yakaz)

简介：组合分词器，能够把多个分词器的结果组合在一块儿。

SmartChinese Analysis Plugin (做者 elasticsearch 团队)

简介：lucene默认的中文分词器

ICU Analysisplugin (做者 elasticsearch 团队)

简介：lucene自带的ICU分词，ICU是一套稳定、成熟、功能强大、轻便易用和跨平台支持Unicode 的开发包。

Stempel(Polish) Analysis plugin (做者 elasticsearch 团队)

简介：法文分词器

IK Analysis Plugin (做者 Medcl)

简介：大名鼎鼎的ik分词，都懂的！

Mmseg Analysis Plugin (做者 Medcl)

简介：mmseg中文分词

HunspellAnalysis Plugin (做者 Jörg Prante)

简介：lucene自带的Hunspell模块

Japanese(Kuromoji) Analysis plugin (做者 elasticsearch 团队).

简介：日文分词器

JapaneseAnalysis plugin (做者 suguru).

简介：日文分词器

Russianand English Morphological Analysis Plugin (做者 Igor Motov)

简介：俄文英文分词器

PinyinAnalysis Plugin (做者 Medcl)

简介：拼音分词器

String2IntegerAnalysis Plugin (做者 Medcl)

简介：字符串转整型工具。主要用在facet这个功能上，若是facet的field的值是字符串的话，计算起来比较耗资源。能够把字符串映射成整型，对整型进行facet操做要比对字符串的快不少。

2. IK分词插件安装

1) 下载并编译：elasticsearch-analysis-ik-1.4.0生成jar包和rar压缩包

2) 建立：elasticsearch-1.6.0\plugins\analysis-ik

3) 拷贝elasticsearch-analysis-ik-1.4.0.zip并解压缩

4) 拷贝ik目录至elasticsearch-1.6.0\config\ik

5) 配置远程数据加载地址：IKAnalyzer.cfg.xml

6) 远程访问地址：

<entry key="remote_ext_dict">http://192.168.1.151:85/ESDynamicDict.aspx</entry>

ESDynamicDict.aspx样例代码以下：

string eTag = this.Request["If-None-Match"];

long modified = String.IsNullOrEmpty(Request["If-Modified-Since"]) ? -1 : Convert.ToInt64(Request["If-Modified-Since"]);

//long modified = System.DateTime.Now.Ticks;

if (null == modified || -1 == modified)

{

//若是没有，则使用当前时间

modified = System.DateTime.Now.Ticks;

}

List<string> wordList = new List<string>();

wordList.Add("比亚迪");

wordList.Add("华为");

wordList.Add("中兴");

wordList.Add("勘探概况回顾");

wordList.Add("可靠性分析");

wordList.Add("构造圈闭识别");

wordList.Add("非构造圈闭识别");

wordList.Add("圈闭形态描述");

wordList.Add("圈闭条件分析");

wordList.Add("油气源特征分析");

wordList.Add("储层特征研究");

wordList.Add("储层综合柱状图");

wordList.Add("储层物性统计表");

wordList.Add("储层岩石学特征图");

wordList.Add("锕");

wordList.Add("ACTINIUM");

wordList.Add("砹");

wordList.Add("ASTATINE");

wordList.Add("氨");

wordList.Add("AMMONIA");

wordList.Add("氨基磺酸");

wordList.Add("SULFAMIC ACID");

wordList.Add("氨基甲酸乙酯");

wordList.Add("ETHYL CARBAMATE");

wordList.Add("氨基甲酸酯");

wordList.Add("CARBAMATE");

wordList.Add("氨基氰");

wordList.Add("CYANAMIDE");

wordList.Add("氨基酸");

wordList.Add("AMINO ACID");

wordList.Add("氨基羧酸");

wordList.Add("AMINOCARBOXYLIC ACID");

wordList.Add("氨基糖");

wordList.Add("AMINO SUGAR");

wordList.Add("胺盐");

wordList.Add("AMINE SALT");

wordList.Add("半乳甘露聚糖");

wordList.Add("AMINO SUGAR");

wordList.Add("苯胺");

wordList.Add("ANILINE");

wordList.Add("苯并嵌二萘");

wordList.Add("BENZOPYRENE");

wordList.Add("苯并三唑");

wordList.Add("BENZOTRIAZOLE");

wordList.Add("半乳甘露聚糖");

wordList.Add("AMINO SUGAR");

String oldEtag = wordList.Count + "";

StringBuilder sb = new StringBuilder();

if (oldEtag != eTag)

{

foreach (var item in wordList)

{

if (String.IsNullOrEmpty(sb.ToString()))

{

sb.Append("\r\n");

}

sb.Append(item + "\r\n");

}

String result = "";

result = sb.ToString();

Response.Clear();

Response.AddHeader("ETags", wordList.Count.ToString());//Response.Headers["Last-Modified"]

Response.AddHeader("Last-Modified", wordList.Count.ToString());//Response.Headers["Last-Modified"]

Response.Write(result);

Response.End();

}

使用MVN进行集成编译，具体过程能够咨询彭健和我。

具体操做以下图所示：

3、同步插件

1. 插件列表

CouchDBRiver Plugin (做者 elasticsearch 团队)

简介：CouchDB和elasticsearch的同步插件

WikipediaRiver Plugin (做者 elasticsearch 团队)

简介：wikipedia文件读取插件。wikipedia是维基百科的一个离线库，不按期发布最新数据，是以xml形式发布的。这个river读取这个文件来建索引。

TwitterRiver Plugin (做者 elasticsearch 团队)

简介：twitter的同步插件，能够同步你twitter上的微博。

RabbitMQRiver Plugin (做者 elasticsearch 团队)

简介：rabbitmq同步插件，读取rabbitmq上的队列信息并索引。

RSS River Plugin (做者 David Pilato)

简介：按期索引指定一个或多个RSS源的数据。

MongoDBRiver Plugin (做者 Richard Louapre)

简介：mongodb同步插件，mongodb必须搭成副本集的模式，由于这个插件的原理是经过按期读取mongodb中的oplog来同步数据。

OpenArchives Initiative (OAI) River Plugin (做者 Jörg Prante)

简介：能够索引oai数据提供者提供的数据。

St9River Plugin (做者 Sunny Gleason)

简介：能够索引索引st9数据（st9是神马？囧！！！）

SofaRiver Plugin (做者 adamlofts)

简介：这个插件能够把多个CouchDB的数据库同步到同一个es索引中。

JDBC RiverPlugin (做者 JörgPrante)

简介：关系型数据库的同步插件

FileSystem River Plugin (做者 David Pilato)

简介：本地文件系统文件同步插件，使用方法是指定一个本地目录路径，es会按期扫描索引该目录下的文件。

LDAP River Plugin (做者 Tanguy Leroux)

简介：索引LDAP目录下的文件数据。

Dropbox River Plugin (做者 David Pilato)

简介：索引dropbox网盘上的文件。经过oauth协议来调用dropbox上的api建索引。

ActiveMQRiver Plugin (做者 Dominik Dorn)

简介：activemq队列的同步插件，和以前rabbitmq的相似

SolrRiver Plugin (做者 Luca Cavanna)

简介：solr同步插件，能够把solr里面的索引同步到es

CSV RiverPlugin (做者 MartinBednar)

简介：经过指定目录地址来索引csv文件。

2. 插件——MongoDB River

插件地址：https://github.com/richardwilly98/elasticsearch-river-mongodb

插件安装：Plugin--installcom.github.richardwilly98.elasticsearch/elasticsearch-river-mongodb/2.0.9

备用：Plugin–install –url https://github.com/downloads/richardwilly98/elasticsearch-river-mongodb/elasticsearch-river-mongodb-2.0.9.zip-install river-mongodb

【todo:须要配置MongoDB的集群功能，未能成功，下周再试】

4、数据传输插件

1. 插件列表

Servlettransport (做者 elasticsearch 团队)

简介：Servletrest插件，经过servlet来封装rest接口。

Memcachedtransport plugin (做者 elasticsearch 团队)

简介：本插件能够经过memcached协议进行rest接口的调用。注意：这里不是使用memcache做为es的缓存。

ThriftTransport (做者 elasticsearch 团队)

简介：使用thrift进行数据传输。

ZeroMQ transport layer plugin (做者 Tanguy Leroux)

简介：使用zeromq进rest接口的调用。

Jetty HTTP transportplugin (做者 SonianInc.)

简介：使用jetty来提供http rest接口。默认是使用netty。这个插件的好处是能够对http接口进行一些权限的设置。

2. 插件——

【todo：暂不须要未经测试】

5、脚本插件

1. 插件列表

Pythonlanguage Plugin (做者 elasticsearch 团队)

简介：python脚本支持

JavaScriptlanguage Plugin (做者 elasticsearch 团队)

简介：javascript脚本支持

Groovylang Plugin (做者 elasticsearch 团队)

简介：groovy脚本支持

ClojureLanguage Plugin (做者 Kevin Downey)

简介：clojure脚本支持

2. 插件——

6、站点插件

1. 插件列表

Paramedic Plugin (做者 Karel Minařík)

简介：es监控插件

SegmentSpyPlugin (做者 ZacharyTong)

简介：查看es索引segment状态的插件

InquisitorPlugin (做者 ZacharyTong)

简介：这个插件主要用来调试你的查询。

2. 插件——Mavel

Cd D:\Sooil\Elasticsearch\elasticsearch-1.6.0\bin

Plugin –install elasticsearch/marvel/latest

注意：Marvel因为其功能强大，为收费产品。

访问地址以下：

http://192.168.1.184:9200/_plugin/marvel

http://192.168.1.184:9200/_plugin/marvel/sense/index.html

7、其它插件

1. 插件列表

MapperAttachments Type plugin (做者 elasticsearch 团队)

简介：附件类型插件，经过tika库把各类类型的文件格式解析成字符串。

HadoopPlugin (做者 elasticsearchteam)

简介：hadoop和elasticsearch的集成插件，能够经过hadoop的mapreduce算法来并行创建索引，同时支持cascading，hive和pig等框架。

AWS CloudPlugin (做者 elasticsearch 团队)

简介：elasticsearch与amazon web services的集成。

ElasticSearchMock Solr Plugin (做者 Matt Weber)

简介：elasticsearch的solr api接口。用了这个插件可使用solr的api来调用es，直接用solrj就能够调用es。比较适用于从solr转es时暂时过分。

SuggesterPlugin (做者 AlexanderReelsen)

简介：es 搜索提示功能插件，不过es0.9版本后自带了这个功能，

ElasticSearchPartialUpdate Plugin (做者 Medcl)

简介：elasticsearch的部分更新插件。

ZooKeeperDiscovery Plugin (做者 Sonian Inc.)

简介：经过zookeeper管理集群的插件。经过这个插件，es的分布式架构和solrcloud类似。

ElasticSearchChanges Plugin (做者 Thomas Peuss)

简介：elasticsearch索引操做记录插件。经过这个插件能够查看用户对索引的增删改操做。

ElasticSearch View Plugin (做者 Tanguy Leroux)

简介：这个插件能够把es的文档以html，xml或text的方式显示出来，它也能够经过查询生成web页面。

ElasticSearchNew Relic Plugin (做者 Vinicius Carvalho)

简介：elasticsearch和newrelic的集成插件。newrelica是一个性能监控工具。这个插件会把节点的状态数据传到newrelic的帐号上。

2. 插件——

Todo：产品中须要作测试集成的插件：

ElasticSearchChanges Plugin

MapperAttachments Type plugin

8、 Elasticsearch客户端

1. 客户端列表

1) Perl

ElasticSearch.pm: Perl客户端

2) Python

pyes: Python客户端
pyelasticsearch: Python客户端
ESClient:一个轻量级Python客户端
rawes: Python客户端
elasticutils: Python客户端

3) Ruby

Tire:Ruby API & DSL, with ActiveRecord/ActiveModel integration
rubberband: Ruby客户端
stretcher: Ruby客户端
elastic_searchable: Ruby客户端 + Rails整合

4) PHP

Elastica: PHP客户端
elasticsearch PHP客户端
Sherlock: PHP客户端

5) Java

Jest: Java Rest客户端

6) Javascript

Elastic.js: JavaScript实现Query DSL和主要API读取

7) .Net

PlainElastic.Net: .NET客户端
NEST: .NET客户端
ElasticSearch.NET: .NET客户端

8) Scala

scalastic: Scala客户端
esclient:瘦Scala客户端

9) Clojure

Elastisch: Clojure客户端

10) Go

elastigo: Go客户端

11) Erlang

erlastic_search: Erlang客户端
Tirexs:一个基于Elixir的API/DSL,能够在纯Erlang环境中使用

12) EventMachine

em-elasticsearch: eventmachine的elasticsearch库

13) Linux Command Line

es2unix:经过unix命令行调用elasticsearchapi

9、总结

1. 插件工具集成访问

因为插件众多，须要记忆的地址也很是多，根据技术大牛Medcl的1.0.0的集成安装包的启示，拷贝了其开发的组件，访问地址以下：

http://192.168.1.184:9200/_plugin/rtf/

2. 其余插件安装

a) Attachments安装

Cd D:\Sooil\Elasticsearch\elasticsearch-1.6.0-self\bin

Plugin -install elasticsearch/elasticsearch-mapper-attachments/2.0.0

b) Paramedic安装

plugin -install karmi/elasticsearch-paramedic

ElasticSearch经常使用插件整理

说明

备注

1、 安装ElasticSearch

1. 安装——验证

2. 插件——head

3. 插件——bigdesk

2、 分词插件

1. 插件列表

2. IK分词插件安装

3、 同步插件

1. 插件列表

2. 插件——MongoDB River

4、 数据传输插件

1. 插件列表

2. 插件——

5、 脚本插件

1. 插件列表

2. 插件——

6、 站点插件

1. 插件列表

2. 插件——Mavel

7、 其它插件

1. 插件列表

2. 插件——

8、 Elasticsearch客户端

1. 客户端列表

1) Perl

2) Python

3) Ruby

4) PHP

5) Java

6) Javascript

7) .Net

8) Scala

9) Clojure

10) Go

11) Erlang

12) EventMachine

13) Linux Command Line

9、 总结

1. 插件工具集成访问

2. 其余插件安装

1、安装ElasticSearch

2、分词插件

3、同步插件

4、数据传输插件

5、脚本插件

6、站点插件

7、其它插件

9、总结