Solr5安装配置

Solr安装配置

1、Oracle VM VirtualBox配置

一、  网络

二、  修改网络ip

cd /etc/sysconfig/network-scripts/

vim ifcfg-enp0s3

TYPE=Ethernet BOOTPROTO=static DEFROUTE=yes PEERDNS=yes PEERROUTES=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_PEERDNS=yes IPV6_PEERROUTES=yes IPV6_FAILURE_FATAL=no NAME=enp0s3 UUID=6d52495e-785f-4e0f-b77e-d5f502578ff6 DEVICE=enp0s3 ONBOOT=yes IPADDR=192.168.1.110 GATEWAY=192.168.1.1 NETMASK=255.255.255.0 DNS1=119.6.6.6 DNS2=114.114.114.114

三、  重启下网络服务：service network restart

2、jdk安装

一、  yum -y list java*

二、  使用root用户安装

三、  yum -y install java-1.7.0-ipenjdk*

四、  java –version

3、安装tomcat

一、  解压：tar xvf apache-tomcat-7.0.68.tar.gz

二、  移动解压后的tomcat：mv apache-tomcat-7.0.68 /home/dev/solr-tomcat

三、  清空webapps

4、运行solr5

一、  解压缩solr，将solr-5.3.0  D:\solr\solr-5.3.0\server\solr-webapp下的webapp

二、  上传webapp更名为solr

三、  将solr-5.3.0\server\lib\ext下的jar包拷入\webapps\solr\WEB-INF\lib下。

四、  \solr-5.3.0\server\resources下的log4j.properties拷入\webapps\solr\WEB-INF\classes下

五、      solr-5.3.0\server\solr拷贝到/home/dev/solr盘，重命名solrhome

六、  编辑\webapps\solr\WEB-INF\下的web.xml放开env-entry标签，并修改env-entry-value的值为/home/dev/solrhome

 

七、  关闭防火墙：systemctl stop firewalld.service #中止 systemctl disable firewalld.service #禁用

八、  进入bin目录，运行./startup.sh

九、  查看日志：tail -f /home/dev/solr-tomcat/logs/catalina.out

十、              浏览器：http://192.168.1.110:8080/solr/#/

5、配置solr5

一、  提高tomcat启动权限：chmod a+x *.sh

二、  修改solrhome的权限：chown -R dev:dev solrhome/

三、  拷贝basic_configs到/home/dev/solrhome并重命名att_core

四、  Add core

6、smart分词配置

一、  将\solr-5.3.0\contrib\analysis-extras\lucene-libs下的lucene-analyzers-smartcn-5.3.0.jar复制到\webapps\solr\WEB-INF\lib目录下

二、  选择核心目录用文本编辑器打开\solrhome\att_core\conf\schema.xml，并添加以下配置信息：

<fieldType name="text_smart" class="solr.TextField" positionIncrementGap="100">           <analyzer type="index">             <tokenizer class="solr.SmartChineseSentenceTokenizerFactory"/>             <filter class="solr.SmartChineseWordTokenFilterFactory"/>           </analyzer>           <analyzer type="query">             <tokenizer class="solr.SmartChineseSentenceTokenizerFactory"/>             <filter class="solr.SmartChineseWordTokenFilterFactory"/>           </analyzer>     </fieldType>

8、拼音分词

一、  安装jar包到\webapps\solr\WEB-INF\lib中

二、  在schema.xml中添加

<fieldType name="text_pinyin" class="solr.TextField">         <analyzer type="index">             <tokenizer class="org.apache.lucene.analysis.ik.IKTokenizerFactory" useSmart="true"/>             <filter class="org.apache.lucene.analysis.pinyin.solr5.PinyinTokenFilterFactory"                 firstChar="false" minTermLenght="2"/>             <filter class="org.apache.lucene.analysis.pinyin.solr5.PinyinNGramTokenFilterFactory"                 nGramChinese="false" nGramNumber="false"/>         </analyzer>         <analyzer type="query">             <tokenizer class="org.apache.lucene.analysis.ik.IKTokenizerFactory" useSmart="true"/>             <filter class="org.apache.lucene.analysis.pinyin.solr5.PinyinTokenFilterFactory"/>             <filter class="org.apache.lucene.analysis.pinyin.solr5.PinyinTokenFilterFactory"                 firstChar="false" minTermLenght="2"/>             <filter class="org.apache.lucene.analysis.pinyin.solr5.PinyinNGramTokenFilterFactory"                 nGramChinese="false" nGramNumber="false"/>         </analyzer>     </fieldType>

 

9、DataimportHandler，它能够把数据从关系数据库中查询出来，而后倒入到索引库中

一、  将\solr-5.3.0\dist\ solr-dataimporthandler-5.3.0.jar拷贝到\webapps\solr\WEB-INF\lib

二、  拷贝mysql-connector-java-5.1.25.jar包到\webapps\solr\WEB-INF\lib

三、  拷贝solr-dataimportscheduler-1.1.jar到\webapps\solr\WEB-INF\lib.

四、  加入\solrhome\att_core\conf\solrconfig.xml:

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">            <lst name="defaults">                    <str name="config">data-config.xml</str>            </lst>   </requestHandler>

五、  修改\solrhome\conf \dataimport.properties文件，加入

六、  配置data-config.xml

<dataConfig>     <dataSource type="JdbcDataSource"                 driver="com.mysql.jdbc.Driver"                 url="jdbc:mysql://192.168.1.113:3306/goshow?characterEncoding=utf-8"                 user="root"                 password="root" />     <document>         <entity name="goods_class"   pk="id"                    query="select id,created,creator,lastUpdater,updated,contentType,fileSize,path,loadFileName,type from go_attachment"                       deltaImportQuery="select id,created,creator,lastUpdater,updated,contentType,fileSize,path,loadFileName,type from go_attachment where gc_id='${dataimporter.delta.id}'"                     deltaQuery="select id from go_attachment where solr_update_time > '${dataimporter.last_index_time}'"                    deletedPkQuery="select id FROM go_attachment_delete "                    >           <field  column="id" name="id" />           <field  column="created" name="created" />           <field  column="creator" name="creator" />           <field  column="lastUpdater" name="lastUpdater" />                      <field  column="updated" name="updated" />                      <field  column="contentType" name="contentType" />                      <field  column="fileSize" name="fileSize" />                      <field  column="path" name="path" />                      <field  column="loadFileName" name="loadFileName" />                      <field  column="type" name="type" />         </entity>                </document> </dataConfig>

当数据库中的文档被删除时，Solr的索引应该被清除。Entity配置的deletedPkQuery就用于这个目的。

工做原理：

执行deletedPkQuery，获取当前Entity被删除的pk；

对deletedRow，执行删除操做

更新原理：

deltaQuery查询变化的id

执行deltaImportQuery，获取自身的数据进行修改；

注意：deletedPkQuery的知道必须是pk的名称

<dataConfig>     <dataSource type="JdbcDataSource"                 driver="com.mysql.jdbc.Driver"                 url="jdbc:mysql://127.0.0.1:3306/goshow?characterEncoding=utf-8"                 user="root"                 password="root" />     <document>         <entity name="goods_class"   pk="id" <!--注意这个query查询只对第一次全量导入有做用，对增量导入不起做用à                   query="select id,created,creator,lastUpdater,updated,contentType,fileSize,path,loadFileName,type from go_attachment"                  deltaQuery的意思是，查询出全部通过修改的记录的ID ,多是修改操做，添加操做，删除操做产生的 ,(此查询只对增量导入起做用，并且只能返回ID值) deltaQuery="select id from go_attachment where solr_update_time > '${dataimporter.last_index_time}'" deltaImportQuery查询是获取以上两步的ID，而后把其所有数据获取，根据获取的数据,对索引库进行更新操做，多是删除，添加，修改(此查询只对增量导入起做用，能够返回多个字段的值,通常状况下，都是返回全部字段的列)                  deltaImportQuery="select id,created,creator,lastUpdater,updated,contentType,fileSize,path,loadFileName,type from go_attachment where gc_id='${dataimporter.delta.id}'"                    deletedPkQuery是删除索引的数据                   deletedPkQuery="select id FROM go_attachment_delete "                   >           <field  column="id" name="id" />           <field  column="created" name="created" />           <field  column="creator" name="creator" />           <field  column="lastUpdater" name="lastUpdater" />                     <field  column="updated" name="updated" />                     <field  column="contentType" name="contentType" />                     <field  column="fileSize" name="fileSize" />                     <field  column="path" name="path" />                     <field  column="loadFileName" name="loadFileName" />                     <field  column="type" name="type" />         </entity>                </document> </dataConfig>

 

七、  配置schema.xml

<field name="created"  type="date" indexed="true"  stored="true"/>          <field name="updated"  type="date" indexed="true"  stored="true"/>          <field name="creator"  type="string"  indexed="true"  stored="true" />          <field name="lastUpdater"  type="string"  indexed="true"  stored="true" />          <field name="contentType"  type="string"  indexed="true"  stored="true" />          <field name="fileSize"  type="int"    indexed="true"  stored="true"/>          <field name="path"  type="string"  indexed="true"  stored="true" />          <field name="loadFileName"  type="string"  indexed="true"  stored="true" />          <field name="type"  type="string"  indexed="true"  stored="true" /> <field name="nameTypeCreator"  type="text_pinyin"  indexed="true"  stored="false"   multiValued="true"/>          <copyField source="loadFileName" dest="nameTypeCreator"/>          <copyField source="creator" dest="nameTypeCreator"/>

八、  导入数据

九、  查询

10、数据库配置

一、  新建数据库字段与删除表

新建go_attachment中的solr_update_time字段

二、  新建删除数据表go_attachment_delete

三、  编写触发器

四、  set new.solr_update_time=CURRENT_TIMESTAMP

五、  set new.solr_update_time=CURRENT_TIMESTAMP

六、  insert into go_attachment_delete(id) values(old.id)

七、  DELETE FROM go_attachment_delete where DATE_SUB(NOW(),INTERVAL 1 DAY)>update_time

八、   DATE_SUB（NOW(),INTERVAL 10 MINUTE）

这表示字段的数值在当前时间前10分钟的时刻以后，另外1 HOUR表示1小时，1 DAY表示1天。

 

11、       重建索引

测试