Solr Suggest实现搜索智能提示

资料来源：http://www.colorfuldays.org/category/program/solr/

智能提示简介

搜索的智能提示目前是各大搜索的标配应用，主要做用是避免用户输入错误的搜索词，同时将用户引导到相应的关键词搜索上。

Solr Suggestion智能提示模块

做为一个应用普遍的搜索引擎系统，Solr内置了智能提示功能，它在Solr里叫作Suggest模块.该模块可选择基于提示词文本作智能提示，还支持经过针对索引的某个字段创建索引词库作智能提示。在诸多文档中都推荐使用基于索引来作智能提示，所以咱们目前的实现也是采起该方案。

Solr Suggest的配置要点

Suggest字段的选择

由于如今整个平台是基于SPU的构建的，所以决定采用SPU关键属性组合及类目名称来作Suggest的索引字段。首先在schema.xml中添加存储Suggest的新字段，以下：

 <field name="suggestion" type="string" indexed="true" stored="true"

        termVectors="true" multiValued="true"/>

在该field的配置中，FieldType的选择很是关键，一般建议智能提示字段的FieldType不须要配置复杂的Analyzer，避免由于分词致使智能提示的词失控。

配置Suggest模块

在solrconfig.xml文件中配置Suggest模块，其中Suggest依赖于SpellChecker模块，因此这两个都须要配置。具体配置以下：

 <searchComponent class="solr.SpellCheckComponent" name="suggest">

        <str name="queryAnalyzerFieldType">string</str>

        <lst name="spellchecker">

            <str name="name">suggest</str>

            <str name="classname">org.apache.solr.spelling.suggest.Suggester</str>

            <str name="lookupImpl">org.apache.solr.spelling.suggest.tst.TSTLookup</str>

            <str name="field">suggestion</str>

            <!-- the indexed field to derive suggestions from -->

            <float name="threshold">0.0001</float>

            <str name="spellcheckIndexDir">spellchecker</str>

            <str name="comparatorClass">freq</str>

            <str name="buildOnOptimize">true</str>

 

            <!--<str name="buildOnCommit">true</str>-->

        </lst>

    </searchComponent>

    <requestHandler class="org.apache.solr.handler.component.SearchHandler"

                    name="/suggest">

        <lst name="defaults">

            <str name="spellcheck">true</str>

            <str name="spellcheck.dictionary">suggest</str>

            <str name="spellcheck.onlyMorePopular">true</str>

            <str name="spellcheck.extendedResults">false</str>

            <str name="spellcheck.count">10</str>

            <str name="spellcheck.collate">true</str>

        </lst>

        <arr name="components">

            <str>suggest</str>

        </arr>

    </requestHandler>

    <queryConverter name="phraseQueryConverter"

                    class="com.hqb360.solr.suggest.PhraseQueryConverter"/>

上述配置的具体说明可参照solr的官方文档，下面对其中几个容易疑惑的地方作一下说明

• queryAnalyzerFieldType      配置参数
       queryAnalyzerFieldType参数指定访问suggest的SearchHandler处理查询参数的Analyzer，若是指定的Analyzer很复杂的话，会致使suggest返回的结果不符合预期。在这们项目中，咱们现但愿Analyzer不对查询作任何的改变，所以选择string。

• spellcheck.dictionary的值必须与searchComponent中spellchecker标签下<str      name=”name”>suggest</str>配置对应。

• Suggest返回结果的排序
       spellchecker组件中的comparatorClass参数可配置Suggest返回结果的排序，目前有以下几种可选方案：

• Empty – in       which case the default is used.

• score –       explicitly choose the default case

• freq – Sort       by frequency first, then score.

• A fully       qualified class name – Provide a custom comparator that implements       Comparator<SuggestWord>.
        可查看SuggestWordScoreComparator类了解更多细节

• QueryConverter定制
       上面的配置中，咱们定制了本身的QueryConverter，主要缘由是Solr默认的SpellQueryConvert是根据空格对查询参数作分隔，致使 “nokia e”这样的字符被看成“nokia”，“e”这样的两个字符处理，不符合咱们的要求。定制的PhraseQueryConverter代码，须要打成jar包，放到Solr能访问到的目录下，在咱们系统中是${solr.solr.home}/lib目录。

Suggest测试

配置完成以后，重启Solr后，访问以下连接

http://192.168.100.10:8080/solr/suggest?q=motorola%20x

结果以下：

<response>

  <lst name="responseHeader">

  <int name="status">0</int>

  <int name="QTime">0</int>

  </lst>

  <lst name="spellcheck">

    <lst name="suggestions">

      <lst name="motorola x">

        <int name="numFound">10</int>

        <int name="startOffset">0</int>

        <int name="endOffset">10</int>

        <arr name="suggestion">

          <str>motorola xoom 3g版</str>

          <str>motorola xt875</str>

          <str>motorola xt300</str>

          <str>motorola xt883</str>

          <str>motorola xt702</str>

          <str>motorola xt806</str>

          <str>motorola xt800</str>

          <str>motorola xt502</str>

          <str>motorola xt882</str>

          <str>motorola xt316</str>

        </arr>

      </lst>

      <str name="collation">motorola xoom 3g版</str>

  </lst>

</lst>

</response>

须要注意的点

• 重启Solr后，第一次访问时须要在Suggest请求中添加spellcheck.build=true参数，用于建立spellchecker的索引。

• 经过threshold参数来限制一些不经常使用的词不出如今智能提示列表中，当这个值设置过大时，可能致使结果太少，须要引发注意。

存在的问题

目前主要存在的问题是使用freq排序算法，返回的结果彻底基于索引中字符的出现次数，没有兼顾用户搜索词语的频率，所以没法将一些热门词排在更靠前的位置。这块可定制SuggestWordScoreComparator来实现，目前尚未着手作这件事情。

参考文档

SpellCheckComponent
Suggester

Posted in solr

Tags: solr, spellchecker, suggest

Permalink 5 Comments