springboot集成elk 一： springboot + Elasticsearch

1.ELK介绍

1> Elasticsearch是实时全文搜索和分析引擎，

提供搜集、分析、存储数据三大功能；

是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。

2> Logstash是一个用来搜集、分析、过滤日志的工具。

它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。

它能够从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它可以以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。

3>   Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch

指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不只容许用户建立他们本身的数据的定制仪表板视图，还容许他们以特殊的方式查询和过滤数据

下载Elasticsearch 、Kibana、Logstash

 

2.ELK安装

https://www.elastic.co/cn/downloads/

 

 

 

 

2.1启动Elasticsearch

进入bin目录cd elasticsearch / bin 执行.\elasticsearch

 

能够修改集群或节点名称。在启动 Elasticsearch 时从命令行完成，

./elasticsearch -Ecluster.name = my_cluster_name -Enode.name = my_node_name

 

测试：http://localhost:9200/

 

 

 

备注：关闭Elasticsearch 快捷键ctrl+c，而后输入y

 

2.2 启动kibana

修改配置 config/kibana.yml

 

 

 

 

进入bin目录 cd kibana\bin 执行kibana

http://localhost:5601

 

 

 

备注：关闭kibana快捷键ctrl+c，而后输入y

 

 

3.springboot + Elasticsearch

注意：springboot集成elasticsearch时，版本上必须一致才行

例如 个人springboot使用的时1.5.9版本，所以下载elasticsearch2.0  logstash-2.0.0 kibana4.2.0进行使用才行。

 

SpringBoot和Elasticsearch 之间对应版本的关系。

 

Spring Boot Version (x)	Spring Data Elasticsearch Version (y)	Elasticsearch Version (z)
x <= 1.3.5	y <= 1.3.4	z <= 1.7.2*
x >= 1.4.x	2.0.0 <=y < 5.0.0**	2.0.0 <= z < 5.0.0**

引入依赖：

<dependency>

      <groupId>org.springframework.boot</groupId>

      <artifactId>spring-boot-starter-data-elasticsearch</artifactId>

</dependency>

 

 

添加配置：

##es地址 spring.data.elasticsearch.cluster-nodes = 127.0.0.1:9300

 

实体类：

 

@Document(indexName = "test",type = "goods") //indexName索引名称 能够理解为数据库名 必须为小写 否则会报org.elasticsearch.indices.InvalidIndexNameException异常 //type类型 能够理解为表名

public class GoodsInfo implements Serializable { private static final long serialVersionUID = -7682211945335253642L; private Long id; private String name; private String description; public Long getId() { return id; } public void setId(Long id) { this.id = id; } public String getName() { return name; } public void setName(String name) { this.name = name; } public String getDescription() { return description; } public void setDescription(String description) { this.description = description; } public GoodsInfo(Long id, String name, String description) { this.id = id; this.name = name; this.description = description; } public GoodsInfo() { } }

 

 

DAO： 

建立GoodsRepository，继承ElasticsearchRepository，代码以下：

 

import com.lolaage.system.model.GoodsInfo; import org.springframework.data.elasticsearch.repository.ElasticsearchRepository; import org.springframework.stereotype.Component; @Component public interface GoodsDao extends ElasticsearchRepository<GoodsInfo,Long> { }

 

 

 

最后新建一个controller进行测试，包含简单的增删改查

 

@RequestMapping("/goods") @RestController public class GoodsController { @Autowired private GoodsDao goodsDao; //http://localhost:8888/save
 @GetMapping("/save") public String save(){ GoodsInfo goodsInfo = new GoodsInfo(123l, "商品"+123,"这是一个测试商品"); goodsDao.save(goodsInfo); return "success"; } //http://localhost:8888/delete?id=1525415333329
 @GetMapping("/delete") public String delete(long id){ goodsDao.delete(id); return "success"; } //http://localhost:8888/update?id=1525417362754&name=修改&description=修改
 @GetMapping("/update") public String update(long id,String name,String description){ GoodsInfo goodsInfo = new GoodsInfo(id, name,description); goodsDao.save(goodsInfo); return "success"; } //http://localhost:8888/getOne?id=1525417362754
 @GetMapping("/getOne") public GoodsInfo getOne(long id){ GoodsInfo goodsInfo = goodsDao.findOne(id); return goodsInfo; } //每页数量

    private Integer PAGESIZE=10; //http://localhost:8888/getGoodsList?query=商品 //http://localhost:8888/getGoodsList?query=商品&pageNumber=1 //根据关键字"商品"去查询列表，name或者description包含的都查询
 @GetMapping("/getGoodsList") public List<GoodsInfo> getList(Integer pageNumber, String query){ if(pageNumber==null) pageNumber = 0; //es搜索默认第一页页码是0
 SearchQuery searchQuery=getEntitySearchQuery(pageNumber,PAGESIZE,query); Page<GoodsInfo> goodsPage = goodsDao.search(searchQuery); return goodsPage.getContent(); } private SearchQuery getEntitySearchQuery(int pageNumber, int pageSize, String searchContent) { FunctionScoreQueryBuilder functionScoreQueryBuilder = QueryBuilders.functionScoreQuery() .add(QueryBuilders.matchPhraseQuery("name", searchContent), ScoreFunctionBuilders.weightFactorFunction(100)) .add(QueryBuilders.matchPhraseQuery("description", searchContent), ScoreFunctionBuilders.weightFactorFunction(100)) //设置权重分 求和模式
 .scoreMode("sum") //设置权重分最低分
 .setMinScore(10); // 设置分页
 Pageable pageable = new PageRequest(pageNumber, pageSize); return new NativeSearchQueryBuilder() .withPageable(pageable) .withQuery(functionScoreQueryBuilder).build(); } }

 

 

  

测试

添加数据：http://localhost:8093/goods/save

 

 

 

查询数据：http://localhost:8093/goods/getOne?id=123

 

 

 

 

在kibana上进行查看elasticsearch中的数据

 

根据测试代码中IndexName ： test建立一个模式匹配

点击Settings-->Indices->去掉Index contains time-based events 的勾，

 

 

 

点击Discover

 

 springboot-elk-dmeo.zip