Spring Boot + Elasticsearch实现大批量数据集下中文的精确匹配-案例剖析

原因

数据存储在MYSQ库中，数据基本维持不变，但数据量又较大(几千万)放在MYSQL中查询效率上较慢，寻求一种简单有效的方式提升查询效率，MYSQL并不擅长大规模数据量下的数据查询。

技术方案

考虑后期一样会使用到es，这次直接结合spring-boot框架造成一个独立服务，并不涉及UI展示内容，（ES版本2.4.5，5.0+版本的话就不能再使用spring data elasticsearch）技术组合以下：

Spring Boot+ Spring-data-elasticsearch + Elasticsearch

结合elasticsearch-jdbc插件，全量将数据一次性导入es中，后期不涉及数据变动。

es安装

测试期间单机安装，官网下载对应版本，因为笔者工做环境基于JDK7，因此下载5.0如下版本，5.0+均依赖Java8，同时使用到elasticsearch-jdbc插件，一并下载安装完成。

走过的大弯路

直接使用elasticsearch-jdbc工具，编写脚本文件，抽取数据到es中，脚本样例以下：

1. #!/bin/sh

2.  

3. DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"

4. bin=${DIR}/../bin

5. lib=${DIR}/../lib

6.  

7. echo '

8. {

9.    "type": "jdbc",

10.    "jdbc": {

11.        "elasticsearch.autodiscover": true,

12.        "url": "jdbc:mysql://192.168.1.3:3306/test",

13.        "user": "root",

14.        "password": "root",

15.        "sql": "SELECT * from tb_name1",

16.        "elasticsearch": {

17.            "host": "192.168.1.1",

18.            "port": 9300

19.        },

20.        "index": "my-index",

21.        "type": "my-type"

22.    }

23. }

24. ' | java \

25.    -cp "${lib}/*" \

26.    -Dlog4j.configurationFile=${bin}/log4j2.xml \

27.    org.xbib.tools.Runner \

28.    org.xbib.tools.JDBCImporter

数据导入成功后，可以使用head插件直接查看到。使用基本查询测试，查询条件是name=测试&num=100，使用精确匹配term语句，查询数据未果，实际使用num=100独立查询时，有相关数据。

问题跟踪解决

致使此现象的缘由在于中文分词的问题，使用elasticsearch-jdbc脚本中并未处理列的mapping类型。(中间作过一次尝试，在脚本中定义对应的type_mapping，但并未成功，有兴趣的朋友可再作尝试)。

注：es与ik分词插件结合，版本匹配须要特别关注，但本案例并不涉及

结合此案例，查询时并不须要分词，而是精确匹配，但es默认状况下是指定string类型的分词，因此在index建立以前咱们须要手动指定相关列不须要分词：not_analyzed，形如：

1. CURL -XPOST http://192.168.1.105:9200/my-index -d {

2.  

3.    {

4.    "mappings": {

5.        "my-type": {

6.            "properties": {

7.                "name": {

8.                    "type": "string",

9.                    "index": "not_analyzed"

10.                },

11.                "num": {

12.                    "type": "string",

13.                    "index": "not_analyzed"

14.                }

15.            }

16.        }

17.    }

18. }

建立索引成功后，再使用elasticsearch-jdbc的脚本导入数据，相关数据列不会再使用分词分析，再使用term组合精确查询时，就能够查询相关数据来。

SpringBoot应用

pom.xml关键配置

1. <dependency>

2.    <groupId>org.springframework.boot</groupId>

3.    <artifactId>spring-boot-starter-data-elasticsearch</artifactId>

4. </dependency>

5. <dependency>

6.    <groupId>org.springframework.boot</groupId>

7.    <artifactId>spring-boot-starter-web</artifactId>

8.    <exclusions>

9.        <exclusion>

10.            <artifactId>log4j-over-slf4j</artifactId>

11.            <groupId>org.slf4j</groupId>

12.        </exclusion>

13.    </exclusions>

14. </dependency>

15. <dependency>

16.    <groupId>org.springframework.boot</groupId>

17.    <artifactId>spring-boot-starter</artifactId>

18.    <exclusions>

19.        <exclusion>

20.            <groupId>org.springframework.boot</groupId>

21.            <artifactId>spring-boot-starter-logging</artifactId>

22.        </exclusion>

23.    </exclusions>

24. </dependency>

25. <dependency>

26.    <groupId>org.springframework.boot</groupId>

27.    <artifactId>spring-boot-starter-test</artifactId>

28.    <scope>test</scope>

29. </dependency>

30. <dependency>

31.    <groupId>org.springframework.boot</groupId>

32.    <artifactId>spring-boot-starter-log4j</artifactId>

33.    <version>1.3.1.RELEASE</version>

34. </dependency>

与elasticsearch交互实体

1. @Data

2. @Document(indexName = "my-index", type = "my-type", shards = 5, replicas = 1, indexStoreType = "fs", refreshInterval = "-1")

3. public class DataBean {

4.  

5.    /**

6.     * code:名称

7.     *

8.     * @since JDK 1.6

9.     */

10.    public String name;

11.  

12.    /**

13.     * msg:编号

14.     *

15.     * @since JDK 1.6

16.     */

17.    public String num;

18.  

19. }

与es交互接口类，返回数据的惟一_id值，若查得数据表示命中数据，若为空并未数据不存在

1. public interface DataBeanRepository extends ElasticsearchRepository<DataBean, Long> {

2.    //案例中并未使用，但能够用

3.    public List<BlackGreyData> findByNameAndNum(String name, String num);

4. }

下面是业务处理层，采用BoolQueryBuilder构建查询条件，也便可基于DSL模块查询数据，还能够采用Criteria查询。

1. @Autowired

2.    DataBeanRepository repository;

3.  

4.    @Override

5.    public List<DataBean> query(String name, String num, String type) {

6.        //采用过滤器的形式，提升查询效率

7.        BoolQueryBuilder builder = QueryBuilders.boolQuery();

8.        builder.must(QueryBuilders.termQuery("name", name)).must(QueryBuilders.termQuery("num", num));

9.        Iterable<DataBean> lists = repository.search(builder);

10.  

11.        List<DataBean> datas = new ArrayList<>();

12.        for (DataBean dataBean : lists) {

13.            datas.add(dataBean);

14.            logger.info("---------------------->>>Request result = 【" + dataBean + "】");

15.        }

16.        return datas;

17.    }

其它再编写对应的请求响应逻辑，便可完成简单服务的完成。

测试结果

GPS数据量5000W+，精确匹配查询出来50条数据，耗时700ms左右，结果查询缓存机制，基本能够稳定在300ms左右。这也是在单节点，未做任何优化的状况的结果。

源码地址

https://github.com/backkoms/spring-boot-elasticsearch

扩展阅读：

• Spring Boot + Elasticsearch 实现索引的平常维护

• Spring Boot + Elasticsearch 实现索引批量写入

• Nginx+Lua+MySQL/Redis实现高性能动态网页展示

• Nginx+Lua+Redis实现高性能缓存数据读取

• 基于SpringCloud的Microservices架构实战案例-序篇

• 介绍几款经常使用的在线API管理工具

• 野蛮生长的前端，从杂牌军到正规军

歪脖贰点零  ∣ 认知升级· 终身学习

程序员，除了编码，生活还应该有沉淀！

长按，识别二维码，加关注