Elasticsearch 5.5 SQL语句转Java Client 及相关注意事项（三）
前言
- 前面两边文章已经讲述了如何搭建集群以及简单的查询基础，想看的移步：
1. Elasticsearch 5.5 入门必会（一）html
2. Elasticsearch 5.5 入门必会之Java client（二）java
1、怎样用SQL思惟来写查询代码
- 写惯了SQL而后来写ES的查询可能有很别扭，ES其实也提供了queryStringQuery的方式来查询，这个查询和SQL有点接近了，可是本文仍是用普通代码方式达到SQL关系查询的逻辑
咱们先看个简单的代码：mysql
@Test
public void match() {
SearchRequestBuilder requestBuilder = client.prepareSearch("megacorp").setTypes("employee")
.setQuery(QueryBuilders.matchQuery("about", "rock climbing"));
System.out.println(requestBuilder.toString());
SearchResponse response = requestBuilder.execute().actionGet();
System.out.println(response.status());
if (response.status().getStatus() == 200) {
for (SearchHit hits : response.getHits().getHits()) {
System.out.println(hits.getSourceAsString());
}
}
}
===============================================================spring
- LIKE查询 这个代码其实在普通的SQL里面是达不到这个效果的，由于matchQuery会对后面的value进行分词后再去匹配，跳过！
/**
* matchphrase使用，短语精准匹配
*/
@Test
public void matchPhrase() {
SearchRequestBuilder requestBuilder = client.prepareSearch("megacorp").setTypes("employee")
.setQuery(QueryBuilders.matchPhraseQuery("about", "rock climbing"));
System.out.println(requestBuilder.toString());
SearchResponse response = requestBuilder.execute().actionGet();
System.out.println(response.status());
if (response.status().getStatus() == 200) {
for (SearchHit hits : response.getHits().getHits()) {
System.out.println(hits.getSourceAsString());
}
}
}
上面的代码你能够理解为：sql
select * from megacorp_employee where about like '%rock climbing%'
- 聚合查询
@Test
public void aggregation() {
SearchRequestBuilder searchBuilder = client.prepareSearch("megacorp").setTypes("employee")
.addAggregation(AggregationBuilders.terms("by_interests").field("interests")
.subAggregation(AggregationBuilders.terms("by_age").field("age")).size(10));
System.out.println(searchBuilder.toString());
SearchResponse response = searchBuilder.execute().actionGet();
if (response.status().getStatus() == 200) {
for (SearchHit hits : response.getHits().getHits()) {
System.out.println(hits.getSourceAsString());
}
}
StringTerms terms = response.getAggregations().get("by_interests");
for (StringTerms.Bucket bucket : terms.getBuckets()) {
System.out.println("-interest:" + bucket.getKey() + "," + bucket.getDocCount());
if (bucket.getAggregations() != null && bucket.getAggregations().get("by_age") != null) {
LongTerms ageTerms = bucket.getAggregations().get("by_age");
for (LongTerms.Bucket bucket2 : ageTerms.getBuckets()) {
System.out.println("--------by age:" + bucket2.getKey() + "," + bucket2.getDocCount());
}
}
}
}
至关于SQL里面的数据库
select interests,age,count(1) from megacorp_employee group by interests,age limit 10
- 布尔查询
BoolQueryBuilder queryBuilder = QueryBuilders.boolQuery();
if(StringUtils.isNotBlank(searchParam.getSearchWords())) {
BoolQueryBuilder mutiShould = QueryBuilders.boolQuery();
for(String column : searchType.getSearchColumn()) {
mutiShould.should(QueryBuilders.termQuery(column+KEYWORD, searchParam.getSearchWords().trim()));
}
queryBuilder.must().add(mutiShould);
}
// 科室编码过滤
if(StringUtils.isNotBlank(searchParam.getDeptNo())) {
queryBuilder.must(QueryBuilders.termQuery("admissward"+KEYWORD, searchParam.getDeptNo().trim()));
}
/**
* 有时间范围
*/
if(searchParam.getTimeType() > 0 && searchParam.getTimeType() < 3) {
Date startDate = searchParam.getStartDate();
Date endDate = searchParam.getEndDate();
RangeQueryBuilder rangeBuilder = null;
// 入院日期
if(searchParam.getTimeType() == 1) {
if(null != startDate) {
rangeBuilder = QueryBuilders.rangeQuery("admissdate").gte(startDate.getTime());
}
if(null != endDate) {
if(null == rangeBuilder) {
rangeBuilder = QueryBuilders.rangeQuery("admissdate").lte(endDate.getTime());
} else {
rangeBuilder.lte(endDate.getTime());
}
}
// 出院日期
} else if(searchParam.getTimeType() == 2) {
if(null != startDate) {
rangeBuilder = QueryBuilders.rangeQuery("disdate").gte(startDate.getTime());
}
if(null != endDate) {
if(null == rangeBuilder) {
rangeBuilder = QueryBuilders.rangeQuery("disdate").lte(endDate.getTime());
} else {
rangeBuilder.lte(endDate.getTime());
}
}
}
if(null != rangeBuilder) {
queryBuilder.must().add(rangeBuilder);
}
}
SearchRequestBuilder searchBuilder = client.prepareSearch(searchType.getIndexType().get_index())
.setTypes(searchType.getIndexType().get_type())
.setSearchType(SearchType.DFS_QUERY_THEN_FETCH)
.setQuery(queryBuilder)
.addSort(StringUtils.isBlank(searchType.getSortColumn())?SCORE:searchType.getSortColumn()
, searchType.getOrder()==null?SortOrder.DESC:searchType.getOrder())
.setFrom(pager.getStartRow()).setSize(pager.getPageSize()).setExplain(true);
SearchResponse response = searchBuilder.execute().actionGet();
long end = System.currentTimeMillis();
logger.info("searchMutiField request indexType:{},searchparam:{},orderColumn:{},orderBy:{}.total hits:{},cost 【{}】 ms"
,searchType.getIndexType().get_type(),queryBuilder.toString(),searchType.getSearchColumn(),
searchType.getOrder(),response.getHits().totalHits,(end-start));
上面的稍微复杂一点，是我生产环境的部分代码，对应的SQL语句是，其实你看到这一个例子应该就大概知道了怎样用SQL转化为代码，BoolQueryBuilder.must就至关于SQL里面的 AND 的概念，Should就是ORexpress
select * from table_name where (column1='searchwords' or column2='searchwords' .. ) and admissward='123456' and admissdate > '1412000212112' and admissdate < '141976521211' limit 10 --个人判断逻辑是若是是入院日期查询就 admissdate > startdate and admissdate < endate --若是是出院日期 就disdate > startdate and disdate < enddate --这个逻辑我就不分开写出来了，省略了
2、使用ES注意事项
- 默认的java.util.Date放到map，而后去建立索引，ES中会保存UTC时间格式，这个比较恶心！固然，时间格式你能够getTime以后当作long去存储，就是不够直观，也能够经过我上一篇文章中同样在建立索引的时候指定date类型字段的format属性。为了方便建立索引，我直接建立了一个xml配置文件来指定数据建立索引时固定其类型！ 解析xml我就不贴了，要否则篇幅太长！
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mapping SYSTEM "elastic-config.dtd"> <!-- 属性参考 https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-store.html --> <mapping > <!-- <datasource id="dataSource1" ref="springDataSource"> </datasource>--> <datasource id="dataSource" > <username>admin</username> <password>admin</password> <jdbcurl>jdbc:mysql://127.0.0.1:3306/message?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=round&useCursorFetch=true&verifyServerCertificate=false&useSSL=false</jdbcurl> <driver>com.mysql.jdbc.Driver</driver> </datasource> <sql-mappings> <sql-mapping data-source-id="dataSource"> <!-- 全量索引 构建 每周星期天3点执行 --> <full-sql> <sql>SELECT * FROM HAHA ORDER BY ID ASC</sql> <expression>0 0 3 ? * SUN</expression> </full-sql> <!-- 每日增量索引构建 --> <incr-sql> <sql>SELECT * FROM HAHA WHERE GMT_CREATE > DATE_ADD(NOW(),INTERVAL -2 DAY) ORDER BY ID ASC</sql> <expression>0 0 2 * * ?</expression> </incr-sql> <search-info> <index>test</index> <type>test</type> <columns> <column index-column="idindex" data-type="integer" sql-column="id" index="not_analyzed" store="no" /> <column index-column="nameindex" data-type="string" sql-column="name" index="not_analyzed" store="no" /> <column index-column="blobtindex" data-type="byte" sql-column="blobt" index="not_analyzed" store="no" /> <column index-column="datesindex" data-type="date" sql-column="ttt" store="no" format="yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis" locale="CHINA" /> <column index-column="tinytestindex" data-type="boolean" sql-column="tinytest" index="not_analyzed" store="no" /> <column index-column="moneysindex" data-type="string" sql-column="moneys" index="not_analyzed" store="no" /> <column index-column="ggggindex" data-type="date" sql-column="gggg" format="yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis" store="no" /> </columns> </search-info> </sql-mapping> </sql-mappings> </mapping>
- 经过接口查出的时间格式是UTC格式，使用代码转换一下便可
SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss.SSS'Z'"); formatter.setTimeZone(TimeZone.getTimeZone("UTC")); SimpleDateFormat standard = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); try { return standard.format(formatter.parse(admiss_time)); } catch (ParseException e) { return null; } - 查询须要根据时间来查询怎么办？您不须要怎么办，不要你减去8小时再格式化
//咱们只须要获取当前咱们本地时间以后getTime传入便可 admissdate >= xxxxx QueryBuilders.rangeQuery("admissdate").gte(startDate.getTime()); - 频繁更新的数据的索引ID，能够尽可能不使用UUID偷懒 。一个是速度快，另外若是使用咱们自已的业务ID来当作索引的ID在更新的时候会很方便，你直接保存进去就会自动更新数据，而不是说新插一条数据，好比下面，分两次保存只会有一条数据存在索引，由于id是同样的！
Map<String,Object> map = new HashMap<String,Object>(); map.put("id", 1); //map.put('test',456); map.put("test", 1); //map.put('hehe',567); map.put("hehe", 2); IndexResponse response = client.prepareIndex("emr_document2", "user_info2",map.get('id').toString()) .setSource(map) .get(); - 使用ES来作日志管控。官方有kibana+logstash+ES的日志管理解决方案，咱们本身若是不想搞那么复杂引入那么多产品进来的话，能够直接本身用RandomAccessFile方式来读取日志文件后写入ES索引，像日志这种东西比较适合每日或者每周作一个单独饿索引，如：index = log_index_20170906 这种，好处不用说了吧，咱们磁盘空间是有限的，若是把全部日志写到一个索引里面去，咱们要清理历史不用的日志就麻烦一点，还不如天天一个索引，而后过时后就把历史没用的哪一个索引直接删掉。
最后
- 我为何使用ES?
我单位乙方提供的数据库没有作比较好的分表方案，历史数据出院一个星期就转入B表，致使不少系统没法正常调用出院患者的病历数据和病人主索引信息，如今已经引入了搜索以后，正常提供所有患者主索引信息查询服务，用起来很爽！病历数据+患者主索引数据 总共不超过500W，查询速度至关快，都在20ms如下！app
- 后面我能够拿ES作什么？
- 病历全文检索，根据关键字来搜病历（这个你们都了解）。
- 病历归类，提供病历内容关键字归类以后，提取一个患者的病历连带出与之相同诊断或者病症的患者信息及用药方案，提供临床决策支持。
- 全院系统日志整合监控，这个颇有必要，如今咱们大大小小系统几十个，每一个系统天天均可能出现各类问题，若是能试试把日志搜集过来，作个监控报警，日子会舒服不少。
- 我能够拿来吹牛逼（很重要！）哈哈，开个玩笑！其实说到底，我只是时间多一点，想学点东西，不让本身成为一个体制内的废人! 有时候一我的在这里作技术有一点小小的孤独感和伤感。
相关文章
- 1. SQL语句注意事项
- 2. Navicat相关应用及注意事项
- 3. 写SQL语句的注意事项
- 4. javaEE sql语句注意事项
- 5. golang sql 查询语句注意事项
- 6. Mysql语句注意事项
- 7. mysql 语句注意事项
- 8. SWITCH 语句注意事项
- 9. SQL语法基础及注意事项
- 10. 编写sql语句一些关键词的注意事项
- 更多相关文章...
- • XML 注意事项 - XML 教程
- • XML 相关技术 - XML 教程
- • NewSQL-TiDB相关
- • Spring Cloud 微服务实战(三) - 服务注册与发现
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章
- 1. SQL语句注意事项
- 2. Navicat相关应用及注意事项
- 3. 写SQL语句的注意事项
- 4. javaEE sql语句注意事项
- 5. golang sql 查询语句注意事项
- 6. Mysql语句注意事项
- 7. mysql 语句注意事项
- 8. SWITCH 语句注意事项
- 9. SQL语法基础及注意事项
- 10. 编写sql语句一些关键词的注意事项