电商行业智能搜索技术原理全解析

简介：对于电商平台来讲，智能搜索功能是相当重要的。本文剖析电商行业的搜索专属特色和业务需求，并介绍开放搜索提供的【电商行业模板】智能搜索能力，但愿带给企业更多提高业务转化的思路和解决方案~

阿里云开放搜索-电商行业智能搜索解决方案：

https://www.aliyun.com/page-source//data-intelligence/activity/opensearch

1、搜索的业务逻辑

“搜索Query→召回→排序→搜索结果”

  当用户在搜索框输入一个Query时，系统经过对其语义的理解，召回相关文档或商品，在经过算法排序，按客户实际的搜索意图进行先后排序，最终解决其搜索需求，实现业务转化。

其中【召回】与【排序】对搜索引导的业务目标最为重要。

2、天然语言处理技术（NLP）在搜索上的应用

1. 概念介绍

   想实现搜索引擎效果的优化，就必定要对天然语言处理技术有必定的了解，由于用户输入一个Query，从学术角度解读，天然语言智能研究实现了人与计算机之间用语言进行有效通讯，它是融合语言学、心理学、计算机科学、数学、统计学于一体的科学。

  天然语言处理被学者誉为”人工智能皇冠上的明珠“，研究覆盖了感知智能、认知智能、创造智能这样的学科，是实现完整人工智能的必要技术。

2. 阿里云达摩院NLP搜索分析路径

3、电商搜索的特色

1. 关键词堆砌

例如：杨幂同款夏季连衣裙包邮。

2. 词序对语义影响不大

例如：杨幂同款女夏季连衣裙包邮；女夏季连衣裙包邮杨幂同款。

3. 类目预测问题

例如：当用户查询“苹果”时，可能查询的是水果，也多是手机品牌。

4.查询召回文档相关性差

核心词识别不许确，分词不许确

5. 搜索引导的业务转化比重较大

据统计，综合类电商搜索引导转化占比40%以上，垂直类电商搜索引导转化占比60%以上。

6. 稳定性要求较高，支持弹性扩容

活动、大促系统QPS多是平时的百倍千倍，须要平滑的扩缩容，保障系统的稳定。

4、电商搜索优化核心功能

1. 分词（划重点！）

1.1分词效果的优化直接影响召回数量，减小无结果率，提升搜索召回质量

例如：

“火锅九块九包邮”

• 效果差的分词：“火、锅、9、块、9、包、邮”；“火锅、9、块、9、包邮”
• 开放搜索的分词：“火锅、九块9、包邮”

“925银耳饰“

• 效果差的分词：“92五、银耳、银、耳饰”
• 开放搜索的分词：“92五、银、耳饰”

1.2不一样的分词方式直接影响着参与召回的关键词，从而影响召回的准确性

  目前不少开源自建系统难以实现很好的分词效果，主要缘由是训练语料的数据量有限，不足以造成能够不断打磨深耕的行业数据。尤为电商行业商品种类丰富，中文字、词表达的意义多样，多音字、同义词又众多的状况下，靠自身算法工程师和开发团队很难实现快速的解决优化，这是一个不断积累训练的漫长过程。

2. 命名实体识别

2.1电商搜索-实体识别含义

  对电商Query和标题进行实体词打标识别，其中包含品牌、品类、品类修饰、型号、款式等类别；

2.2开放搜索实体识别优点

• 基于淘宝全量数据和知识库深刻优化电商行业实体识别能力，解决品牌更新快歧义大，品类存在修饰关系，品牌品类搭配关系等问题；

2.3开放搜索实体识别做用

2.3.1做用于query改写:

开放搜索查询分析能够改写两个query，第一个query更精准，第二个query减小了参与召回的term，旨在当更精确的召回结果数不足时，用第二个query进行扩大召回。query改写主要根据实体的重要性，召回时保留重要性高的实体词，对重要性低的部分不影响召回，只影响算法排序。

实现方式：

   实体重要性目前分为高、中、低三档。其中“品牌、品类”是在高档，也就是最重要的；其次“风格、款式、颜色、季节、人群、地点…”处于中档；最后“尺寸、修饰词、影响服务、系列、单位…”处于低档，能够丢弃不参与召回。

2.3.2与类目预测一块儿使用

query中不一样的实体对类目的影响是不同的，所以，当原query没有类目预测的结果时，会根据必定的规则，去掉和类目意图无关或者相关度低的词后，进行类目预测,这对长尾query的类目预测会有很大的帮助.

示例：

“杨幂(人名)同款(后缀)春季(时间季节)修身(款式元素)连衣裙(品类)”丢词后的query按照优先级排序分别为：

春季修身连衣裙

春季连衣裙
修身连衣裙
连衣裙

系统会按照上述顺序依次查询类目预测的结果

3. 类目预测

3.1举例说明：

• 用户搜索“苹果”多是想要水果的苹果，也多是苹果手机；

• 用户搜索“华为”，召回结果按销量排序，可能销量最高的“华为手表”、“华为配件”排在前面，实际的搜索意图”华为手机“却排在后面。

  3.2开放搜索类目预测能力

  类目预测是开放搜索里基于物品/内容的类目信息改善搜索效果的算法功能。根据用户的查询词来预测用户想要查询哪一个类目的结果，结合排序表达式，可使得更符合搜索意图的结果排序更靠前。

基本原理：把历史上搜过的query收集起来，结合query查询以后的点击行为数据，与类目下的物品信息联系起来，使用这些数据来训练模型，由模型来刻画query与类目之间的数据规律。

   不一样用户搜索意图不一样，有些行为意图搜索“配件”，有些意图是搜索“手机”，那根据用户的行为数据就能够经过类目进行判断，从而在排序效果上实现个性化展现；

4. 排序算法

4.1电商排序常见问题

• 查询结果排序不理想：致使点击率较低，跳出率较高，直接影响业务转化；
• 数据缺少时效性：难以平衡优质商品和新发布商品之间的权衡关系；
• 商家刷排名：部分商家找到排序漏洞，经过关键词堆砌，得到靠前位置，用户体验很差；
• 人力资源紧张：须要专业算法工程师2-3名，很难找到合适的人才。

4.2开放搜索电商排序能力

在应用结构模板和索引结构模板基础上，提供电商经常使用基础排序、业务排序表达式，无需额外配置便可知足大部分电商行业排序效果需求，用户还能够经过cava脚本定制排序。

5. 人工干预bad case

5.1常见的bad case

• “iPhone11”刚上市时，用户搜索“苹果/iphone”，最新款产品确定要排在前面，在没有常规排序算法的时候，就须要类目预测人工干预；
• “喷泡”是一款篮球鞋的别称，并不是主流叫法，全称是“Air Jordan AirFoamposite系列”，这时就须要经过平时运营积累的专业词汇可视化同步到开放搜索作查询语义理解功能的补丁，经过灵活干预得以解决；
• 跨境电商有时Query涉及“日文、韩文、泰文”等外语，当咱们的分词词典不能很好的分词优化时，也能够经过分词干预功能解决；
• 用户搜索Query“香奈儿气垫”，默认的实体识别，将“香奈儿”归类为“普通词”；“气垫”归类为“材质”，须要人工干预实体识别，把“香奈儿”干预为品牌。

5.2开放搜索人工干预功能

• 内置干预词典，可在其基础上添加自定义干预词典；
• 支持查询分析干预词典（停用词、拼写纠错、同义词、实体识别、词权重、类目预测）；

6. 搜索引导功能

6.1搜索引导功能业务价值

6.1.1热搜底纹

• 热门query是用户兴趣的风向标，经过分析热门query把握用户的兴趣走向，对制定运营策略提供决策依据；
• 给用户推荐一些优质query，提高业务目标；
• 用户推荐热门query，既提高用户体验，又给部分次热门query增长曝光机会；
• 经过分析用户的行为，结合用户的兴趣来推荐query，想用户所想提升转化机会；

6.1.2下拉提示

• 提升输入效率，帮助用户尽快找到想要的内容，同时减小用户的查询次数，减少服务端的压力；

• 推荐更优质query；

6.2开放搜索搜索引导优点

   内置热搜、底纹、下拉提示多样搜索引导算法模型，无需开发系统天天自动训练模型，对用户搜索意图起到重要的引导做用，大大下降后续查询意图理解、相关性、排序、运营干预等环节的调优难度，对提高总体业务目标能够起到很是好的铺垫做用。

5、开放搜索电商行业模板

1.搜索架构

开放搜索（OpenSearch）独创电商行业搜索模板能力，帮助企业快速构建更高水准的搜索服务，带动业务指数级增加。

2.一键配置

内置电商行业搜索能力，配置简单新手无门槛

3.电商行业模板优点

• 行业最佳实践，减小试错成本

将搭建电商行业搜索的最佳实践产品化落地，用户没必要各方向探索，只需按模板接入便可拥有更优服务；

• 内置更高质量算法模型，节省训练成本

用户从0开始优化搜索，免去大量的数据标注与模型训练工做，直接内置阿里集团淘系搜索算法能力，节省数十人/月的算法工做；

• 支持个性化搜索与服务能力

经过引擎侧的多路召回能力，实现搜索结果、下拉提示、底纹词等重要服务千人千面，提高搜索转化；

• 架构开放，支持开发者自定义模型实时回流

支持用户自行训练的NLP模型导入进入开放搜索，灵活知足业务开发者需求；

• 召回引擎性能充分领先

阿里巴巴自研Ha3引擎，处理海量数据、高并发、海量用户请求，性能数倍优于开源方案；

• 高时效的行业迭代能力

根据电商行变化，不断迭代更新原有能力，提供更高时效性的服务保障；

4.电商行业加强版技术核心指标优化

4.1开源搜索与电商行业加强版效果对比

4.2通用版与电商行业加强版能力对比

4.3离线数据处理

单个集群实时数据同步Tps百万级；

---

得到专家指导：

https://survey.aliyun.com/apps/zhiliao/uzhnOt\_g9

电商行业模板配置流程：

https://help.aliyun.com/document\_detail/208651.html

本文内容由阿里云实名注册用户自发贡献，版权归原做者全部，阿里云开发者社区不拥有其著做权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。若是您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将马上删除涉嫌侵权内容。