Elasticsearch能检索出来，但不能正确高亮怎么办？
一、问题引出
微信群里的线上实战问题：html
诸位大哥，es中：mysql
keyword类型的字段进行高亮查询，值为 123asd456，查询 sd4，高亮结果是 em 123asd456 emgit
有没有办法只对我查询的sd4高亮？算法
明明查询id的一部分，却高亮结果是整个id串，怎么办？sql
死磕Elasticsearch技术微信群微信
二、一个Demo描述清楚问题
注：本文示例DSL在7.2版本运行ok，6.X以前早期版本可能须要微调。app
PUT findex
{
"mappings": {
"properties": {
"aname":{
"type":"text"
},
"acode":{
"type":"keyword"
}
}
}
}
POST findex/_bulk
{"index":{"_id":1}}
{"acode":"160213.OF","aname":"X泰纳斯达克100"}
{"index":{"_id":2}}
{"acode":"160218.OF","aname":"X泰国证房地产"}
POST findex/_search
{
"highlight": {
"fields": {
"acode": {}
}
},
"query": {
"bool": {
"should": [
{
"wildcard": {
"acode": "*1602*"
}
}
]
}
}
}
高亮检索结果，运维
"highlight" : {
"acode" : [
"<em>160213.OF</em>"
]
}
也就是说整个串都被高亮了，没有达到预期。elasticsearch
实际需求：搜索1602，相关数据：160213.O、160218.OF都能召回，且仅高亮搜索字段1602。ide
三、问题拆解
检索选型wildcard是为了解决子串能匹配的问题，wildcard的实现相似mysql的“like”模糊匹配。
传统的text标准分词器，包括中文分词器ik、英文分词器english、standard等都不能解决上述子串匹配问题。
而实际业务需求：
一方面：要求输入子串召回全串；
另外一方面：要求高亮检索的子串。
只能更换一种分词Ngram来实现了！
四、什么是Ngram？
4.1 Ngram定义
Ngram是一种基于统计语言模型的算法。
Ngram基本思想：是将文本里面的内容按照字节进行大小为N的滑动窗口操做，造成了长度是N的字节片断序列。每个字节片断称为gram，对全部gram的出现频度进行统计，而且按照事先设定好的阈值进行过滤，造成关键gram列表，也就是这个文本的向量特征空间，列表中的每一种gram就是一个特征向量维度。
该模型基于这样一种假设，第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的几率就是各个词出现几率的乘积。
这些几率能够经过直接从语料中统计N个词同时出现的次数获得。经常使用的是二元的Bi-Gram（二元语法）和三元的Tri-Gram（三元语法）。
4.2 Ngram举例
中文句子：“你今天吃饭了吗”，它的Bi-Gram（二元语法）分词结果为：
你今 今天 天吃 吃饭 饭了 了吗
4.3 Ngram 应用场景
场景1：文本压缩、检查拼写错误、加速字符串查找、文献语种识别。
场景2：天然语言处理自动化领域获得新的应用,如自动分类、自动索引、超链的自动生成、文献检索、
无分隔符语言文本的切分等。场景3：天然语言的自动分类功能。对应到Elasticsearch检索，应用场景就更加明确：无分隔符语言文本的切分分词，提升检索效率（相比：wildcard 查询和正则查询）。
五、实践一把
PUT findex_ext
{
"settings": {
"index.max_ngram_diff": 10,
"analysis": {
"analyzer": {
"my_analyzer": {
"tokenizer": "my_tokenizer"
}
},
"tokenizer": {
"my_tokenizer": {
"type": "ngram",
"min_gram": 4,
"max_gram": 10,
"token_chars": [
"letter",
"digit"
]
}
}
}
},
"mappings": {
"properties": {
"aname": {
"type": "text"
},
"acode": {
"type": "text",
"analyzer": "my_analyzer",
"fields": {
"keyword": {
"type": "keyword"
}
}
}
}
}
}
POST findex_ext/_bulk
{"index":{"_id":1}}
{"acode":"160213.OF","aname":"X泰纳斯达克100"}
{"index":{"_id":2}}
{"acode":"160218.OF","aname":"X泰国证房地产"}
# 查看分词结果
POST findex_ext/_analyze
{
"analyzer": "my_analyzer",
"text":"160213.OF"
}
POST findex_ext/_search
{
"highlight": {
"fields": {
"acode": {}
}
},
"query": {
"bool": {
"should": [
{
"match_phrase": {
"acode": {
"query": "1602"
}
}
}
]
}
}
}
注意：三个核心参数
min_gram：最小字符长度（切分），默认为1
max_gram：最大字符长度（切分），默认为2
token_chars：生成的分词结果中包含的字符类型，默认是所有类型。如上的示例中表明：保留数字、字母。若上述示例中，只指定 "letter",则数字就会被过滤掉，分词结果只剩下串中的字符如："OF"。
返回结果截取片断以下：
"highlight" : {
"acode" : [
"<em>1602</em>13.OF"
]
}
已经能知足检索和高亮的双重需求。
五、选型注意
Ngram的本质：用空间换时间。其能匹配的前提是写入的时候已经按照：min_gram、max_gram切词。
数据量很是少且不要求子串高亮，能够考虑keyword。
数据量大且要求子串高亮，推荐使用：Ngram分词结合match或者match_phrase检索实现。
数据量大，切记不要使用wildcard前缀匹配！
缘由：带有通配符的pattern构造出来的DFA（Deterministic Finite Automaton）可能会很复杂，开销很大！甚至可能致使线上环境宕机。
Wood大叔也 屡次强调：wildcard query应杜绝使用通配符打头，实在不得已要这么作，就必定须要限制用户输入的字符串长度。
六、小结
为讨论解决线上问题，引伸出Ngram的原理和使用逻辑，并指出了wildcard和Ngram的适用业务场景。但愿对实战中的你有所启发和帮助！
你在业务中遇到子串匹配和高亮的状况吗？你是如何分词和检索的？欢迎留言讨论。
参考：
一、https://zhuanlan.zhihu.com/p/32829048
二、http://blog.sciencenet.cn/blog-713101-797384.html
三、https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-ngram-tokenizer.html
四、https://elasticsearch.cn/article/171
更多推荐：
一、Elasticsearch实战|如何从数千万手机号中识别出情侣号？
三、95后运维小哥20天+经过Elastic认证考试经验分享
中国经过Elastic认证工程师考试人数最多的圈子！
更短期更快习得更多干货！