最近接手了公司搜索相关的业务,因为其使用的是Solr
,故趁着周末本身鼓捣下;java
因为业务上使用的是Solr4.2.0
版本,所以在学习时,使用相对较老的版本Solr4.9.0
,当前已经更新到Solr6.6.0
本文记录本身在学习过程当中的一些收获;web
将下载的solr-4.9.0.tgz
解压到指定目录.好比/home/pekxxoo/solr/solr-4.9.0
app
将/home/pekxxoo/solr/solr-4.9.0/example/webapps
下的solr.war
文件拷贝到tomcat->webapps
目录下webapp
新建文件夹/home/pekxxoo/solr/solr_home
,并将/home/pekxxoo/solr/solr-4.9.0/example/solr
目录拷贝到/home/pekxxoo/solr/solr_home
中工具
切换到tomcat/bin
目录下,启动tomcat
.此时tomcat
会把solr.war
文件进行解压生成一个solr
文件夹,而后中止tomcat
(./shutdown.sh
)学习
编译tomcat目录下/webapps/solr/WEB-INF/web.xml
,找到下面的代码:优化
<!-- <env-entry> <env-entry-name>solr/home</env-entry-name> <env-entry-value>/home/pekxxoo/solr/solr_home/solr</env-entry-value> <env-entry-type>java.lang.String</env-entry-type> </env-entry> -->
打开注释,修改成:
<env-entry> <env-entry-name>solr/home</env-entry-name> <!--此处为solr_home的地址,我配置的路径是/home/pekxxoo/solr/solr_home/solr--> <env-entry-value>/home/pekxxoo/solr/solr_home/solr</env-entry-value> <env-entry-type>java.lang.String</env-entry-type> </env-entry>
将/home/pekxxoo/solr/solr-4.9.0/example/lib/ext
目录下jar包所有拷贝到tomcat目录下webapps/solr/WEB-INF/lib
目录下
在tomcat/webapps/solr/WEB-INF/
目录下新建classes
目录,将/home/pekxxoo/solr/solr-4.9.0/example/resources
目录下的log4j.properties
文件拷贝到tomcat/webapps/solr/WEB-INF/classes
目录下
在/home/pekxxoo/solr/solr_home/solr/collection1/conf
目录下打开solrconfig.xml
配置,搜索solr.clustering.enabled
找到以下配置文件:
<searchComponent name="clustering" enable="${solr.clustering.enabled:false}" class="solr.clustering.ClusteringComponent" >
将true改成false便可(`solr4.9.0`默认为false,4.5以前须要手动修改)
启动tomcat,访问http://localhost:8080/solr
IK Analyzer
是一个开源的,基亍java
语言开发的轻量级的中文分词工具包。从 2006年 12 月推出 1.0 版开始, IKAnalyzer 已经推出了 4 个大版本。最初,它是以开源项目Luence
为应用主体的,结合词典分词和文法分析算法的中文分词组件。从 3.0 版本开始,IK 发展为面向 Java 的公用分词组件,独立亍 Lucene 项目,同时提供了对 Lucene 的默认优化实现。在 2012 版本中,IK 实现了简单的分词歧义排除算法,标志着 IK 分词器从单纯的词典分词向模拟语义分词衍化。
IK Analyzer 2012 版本支持 细粒度切分
和 智能切分
,如下是两种切分方式的演示样例。
文本原文 :
IKAnalyzer 是一个开源的,基亍 java 语言开发的轻量级的中文分词工具包。从 2006 年 12月推出 1.0 版开始, IKAnalyzer 已经推出了 3 个大版本。
智能分词结果:ikanalyzer | 是 | 一个 | 开源 | 的 | 基亍 | java | 语言 | 开发 | 的 | 轻量级 | 的 | 中文 | 分词 | 工具包 | 从 | 2006年 | 12月 | 推出 | 1.0版 | 开始 | ikanalyzer | 已经 | 推| 出了 | 3个 | 大 | 版本
最细粒度分词结果:ikanalyzer | 是 | 一个 | 一 | 个 | 开源 | 的 | 基亍 | java | 语言 | 开发 | 的 | 轻量级| 量级 | 的 | 中文 | 分词 | 工具包 | 工具 | 包 | 从 | 2006 | 年 | 12 | 月 | 推出 | 1.0 | 版 | 开始 | ikanalyzer | 已经 | 推出 | 出了 | 3 | 个 | 大 | 版本
首先须要下载ik-analyzer
分词包,点击下载
将下载的IK Analyzer 2012FF_hf1.zip
包解压缩包含:
《IKAnalyzer 中文分词器 V2012 使用手册》(即本文档)
IKAnalyzer2012.jar(主 jar 包)
IKAnalyzer.cfg.xml(分词器扩展配置文件)
stopword.dic(中止词典)
LICENSE.TXT ; NOTICE.TXT (apache 版权申明)
将 IKAnalyzer2012.jar
拷贝到项目的lib目录中,个人目录为/home/pekxxoo/java/tomcat7.0.81/webapps/solr/WEB-INF/lib
IKAnalyzer.cfg.xml
与 stopword.dic
文件放置在 class 根目录(对亍 web 项目,一般是WEB-INF/classes
目彔,同 hibernate、log4j 等配置文件相同)下便可。
修改core/conf/schema.xml
文件,添加配置信息以下:
<fieldType name="text_ik" class="solr.TextField"> <analyzer type="index" class="org.wltea.analyzer.lucene.IKAnalyzer" isMaxWordLength="false"/> <analyzer type="query" class="org.wltea.analyzer.lucene.IKAnalyzer" isMaxWordLength="true"/> </fieldType>
最后修改相应须要中文分词的字段的type
类型便可:
<field name="title" type="text_ik" indexed="true" stored="true" multiValued="true"/>
重启tomcat服务
若是以前已经建立了索引,须要将以前的索引删掉,从新建立分词后的索引。
遇到的问题:
在 Solr4.0 发布之后,官方取消了 BaseTokenizerFactory 接口,而直接使用 Lucene Analyzer 标准接口。所以 IK分词器 2012 FF 版本也取消了org.wltea.analyzer.solr.IKTokenizerFactory
类。
所以在下载的时候注意下载IK Analyzer 2012FF_hf1.zip
版本