solrconfig.xml配置详解

时间 2019-11-21

标签 solrconfig.xml solrconfig xml 配置详解栏目 XML 繁體版

原文原文链接

solrconfig.xml配置文件主要定义了SOLR的一些处理规则，包括索引数据的存放位置，更新，删除，查询的一些规则配置。

能够在tomcat的安装路径下找到这个文件C:\Program Files\Apache Software Foundation\Tomcat 8.0\solr\collection1\conf html

1.datadir节点 linux

1.<dataDir>${solr.data.dir:d:/Server/Solr/data}</dataDir>定义了索引数据和日志文件的存放位置 apache

2.luceneMatchVersion windows

<luceneMatchVersion>4.8</luceneMatchVersion> 缓存

表示solr底层使用的是lucene4.8 tomcat

3. lib 服务器

<lib dir="../../../contrib/extraction/lib"regex=".*\.jar"/> 多线程

表示solr引用包的位置,当dir对应的目录不存在时候，会忽略此属性 app

4.directoryFactory 分布式

索引存储方案，共有如下存储方案

           一、solr.StandardDirectoryFactory,这是一个基于文件系统存储目录的工厂，它会试图选择最好的实现基于你当前的操做系统和Java虚拟机版本。
           二、solr.SimpleFSDirectoryFactory,适用于小型应用程序，不支持大数据和多线程。
           三、solr.NIOFSDirectoryFactory,适用于多线程环境，可是不适用在windows平台（很慢），是由于JVM还存在bug。
           四、solr.MMapDirectoryFactory,这个是solr3.1到4.0版本在linux64位系统下默认的实现。它是经过使用虚拟内存和内核特性调用

             mmap去访问存储在磁盘中的索引文件。它容许lucene或solr直接访问I/O缓存。若是不须要近实时搜索功能，使用此工厂是个不错的方案。
           五、solr.NRTCachingDirectoryFactory,此工厂设计目的是存储部分索引在内存中，从而加快了近实时搜索的速度。
           六、solr.RAMDirectoryFactory,这是一个内存存储方案，不能持久化存储，在系统重启或服务器crash时数据会丢失。且不支持索引复制

[html] view plain copy

<directoryFactory class="${solr.directoryFactory:solr.NRTCachingDirectoryFactory}" name="DirectoryFactory">
<str name="solr.hdfs.home">${solr.hdfs.home:}</str>
<str name="solr.hdfs.confdir">${solr.hdfs.confdir:}</str>
<str name="solr.hdfs.blockcache.enabled">${solr.hdfs.blockcache.enabled:true}</str>
<str name="solr.hdfs.blockcache.global">${solr.hdfs.blockcache.global:true}</str>
</directoryFactory>

             5. codecFactory
                   编解码工厂容许使用自定义的编解码器。例如：若是想启动per-field DocValues格式, 能够在solrconfig.xml里面设置SchemaCodecFactory：
                   docValuesFormat="Lucene42": 这是默认设置，全部数据会被加载到堆内存中。
          docValuesFormat="Disk": 这是另一个实现，将部分数据存储在磁盘上。
          docValuesFormat="SimpleText": 文本格式，很是慢，用于学习。

6.indexconfig节点

用于设置索引的低级别的属性

      一、<filter class="solr.LimitTokenCountFilterFactory" maxTokenCount="10000"/>//限制token最大长度
      二、<writeLockTimeout>1000</writeLockTimeout>//IndexWriter等待解锁的最长时间（毫秒）。
      三、<maxIndexingThreads>8</maxIndexingThreads>//
      四、<useCompoundFile>false</useCompoundFile>//solr默认为false。若是为true,索引文件减小,检索性能下降,追求平衡。
      五、<ramBufferSizeMB>100</ramBufferSizeMB>//缓存
      六、<maxBufferedDocs>1000</maxBufferedDocs>//同上。两个同时定义时命中较低的那个。
      七、<mergePolicy class="org.apache.lucene.index.TieredMergePolicy">
         <int name="maxMergeAtOnce">10</int>
          <int name="segmentsPerTier">10</int>
         </mergePolicy>
         //合并策略。
      八、<mergeFactor>10</mergeFactor>//合并因子,每次合并多少个segments。
      九、<mergeScheduler class="org.apache.lucene.index.ConcurrentMergeScheduler"/>//合并调度器。
     十、<lockType>${solr.lock.type:native}</lockType>//锁工厂。
     十一、<unlockOnStartup>false</unlockOnStartup>//是否启动时先解锁。
     十二、<termIndexInterval>128</termIndexInterval>//Lucene loads terms into memory 间隔
     1三、<reopenReaders>true</reopenReaders>//从新打开,替代先关闭-再打开。
     1四、<deletionPolicy class="solr.SolrDeletionPolicy">//提交删除策略,必须实现org.apache.lucene.index.IndexDeletionPolicy
     1五、<str name="maxCommitsToKeep">1</str>
     1六、<str name="maxOptimizedCommitsToKeep">0</str>
     1七、<str name="maxCommitAge">30MINUTES</str> OR <str name="maxCommitAge">1DAY</str><br>　　　

　 1八、 <infoStream file="INFOSTREAM.txt">false</infoStream>//至关于把建立索引时的日志输出。

      <lockType>${solr.lock.type:native}</lockType>
       设置索引库的锁方式，主要有三种：
        1.single：适用于只读的索引库，即索引库是定死的，不会再更改
        2.native：使用本地操做系统的文件锁方式，不能用于多个solr服务共用同一个索引库。Solr3.6 及后期版本使用的默认锁机制。
        3.simple：使用简单的文件锁机制

7. updateHandler节点

定义更新处理器，

[html] view plain copy

<updateLog>
<str name="dir">${solr.ulog.dir:}</str>
</updateLog>

设置索引库更新日志，默认路径为solr home下面的data/tlog。随着索引库的频繁更新，tlog文件会愈来愈大，

因此建议提交索引时采用硬提交方式<autoCommit>，即批量提交。

[html] view plain copy

<autoCommit>
<maxTime>15000</maxTime>
<maxDocs>10000</maxDocs>
<openSearcher>false</openSearcher>
</autoCommit>

自动硬提交方式:maxTime：设置多长时间提交一次maxDocs：设置达到多少文档提交一次openSearcher：文档提交后是否开启新的searcher，

若是false，文档只是提交到index索引库，搜索结果中搜不到这次提交的文档；若是true，既提交到index索引库，也能在搜索结果中搜到这次提交的内容。

[html] view plain copy

<updateHandler class="solr.DirectUpdateHandler2">
<updateLog>
<str name="dir">${solr.ulog.dir:}</str>
</updateLog>
<!--
在知足必定条件时自动提交。maxDocs/maxTime/openSearcher
-->
<autoCommit>
<maxTime>15000</maxTime>
<openSearcher>false</openSearcher>
</autoCommit>
<!--
<autoSoftCommit>
<maxTime>1000</maxTime>
</autoSoftCommit>
-->
<!--
更新相关事件监听器
postCommit - fired after every commit or optimize command
postOptimize - fired after every optimize command
-->
<!-- The RunExecutableListener executes an external command from a
hook such as postCommit or postOptimize.
exe - the name of the executable to run
dir - dir to use as the current working directory. (default=".")
wait - the calling thread waits until the executable returns.
(default="true")
args - the arguments to pass to the program. (default is none)
env - environment variables to set. (default is none)
-->
<!--
<listener event="postCommit" class="solr.RunExecutableListener">
<str name="exe">solr/bin/snapshooter</str>
<str name="dir">.</str>
<bool name="wait">true</bool>
<arr name="args"> <str>arg1</str> <str>arg2</str> </arr>
<arr name="env"> <str>MYVAR=val1</str> </arr>
</listener>
-->
</updateHandler>

8.Query查询节点

             <maxBooleanClauses>1024</maxBooleanClauses>
             设置boolean 查询中，最大条件数。在范围搜索或者前缀搜索时，会产生大量的 boolean 条件，
             若是条件数达到这个数值时，将抛出异常，限制这个条件数，能够防止条件过多查询等待时间过长。
                             缓存方法http://www.cnblogs.com/phinecos/archive/2012/05/24/2517018.html

[html] view plain copy

<filterCache class="solr.FastLRUCache" size="512" initialSize="512" autowarmCount="0"/>
<queryResultCache class="solr.LRUCache" size="512" initialSize="512" autowarmCount="0"/>
<documentCache class="solr.LRUCache" size="512" initialSize="512" autowarmCount="0"/>
<queryResultMaxDocsCached>200</queryResultMaxDocsCached>
<maxWarmingSearchers>2</maxWarmingSearchers>

9.Request Dispatcher

请求转发器

[html] view plain copy

<!-- Request Dispatcher
主要是介绍当有请求访问SolrCore时SolrDispatchFilter如何处理。
handleSelect是一个之前版本中遗留下来的属性,会影响请求的对应行为（好比/select?qt=XXX）。
当handleSelect="true"时致使SolrDispatchFilter将请求转发给qt指定的处理器（前提是/select已经注册）。
当handleSelect="false"时会直接访问/select,若/select未注册则为404。
-->
<requestDispatcher handleSelect="false" >
<!-- Request Parsing：请求解析
这些设置说明Solr Requests如何被解析,以及对ContentStreams有什么限制。
enableRemoteStreaming - 是否容许使用stream.file和stream.url参数来指定远程streams。
multipartUploadLimitInKB - 指定多文件上传时Solr容许的最大的size。
formdataUploadLimitInKB - 表单经过POST请求发送的最大size
-->
<requestParsers enableRemoteStreaming="true"
multipartUploadLimitInKB="2048000"
formdataUploadLimitInKB="2048"/>
<!-- HTTP Caching
设置HTTP缓存的相关参数。
-->
<httpCaching never304="true" />
<!--
<httpCaching never304="true" >
<cacheControl>max-age=30, public</cacheControl>
</httpCaching>
-->
<!--
<httpCaching lastModifiedFrom="openTime"
etagSeed="Solr">
<cacheControl>max-age=30, public</cacheControl>
</httpCaching>
-->
</requestDispatcher>

10.requestHandler

请求处理器

[html] view plain copy

<!-- Request Handlers
输入的请求会经过请求中的路径被转发到特定的处理器。
-->
<!-- SearchHandler
基本的请求处理器是SearchHandler,它提供一系列SearchComponents。
经过multiple shards支持分布式。
-->
<requestHandler name="/select" class="solr.SearchHandler">
<lst name="defaults">
<str name="echoParams">explicit</str>
<int name="rows">10</int>
<str name="df">text</str>
</lst>
<!--
<lst name="appends">
<str name="fq">inStock:true</str>
</lst>
-->
<!--
<lst name="invariants">
<str name="facet.field">cat</str>
<str name="facet.field">manu_exact</str>
<str name="facet.query">price:[* TO 500]</str>
<str name="facet.query">price:[500 TO *]</str>
</lst>
-->
<!--
<arr name="components">
<str>nameOfCustomComponent1</str>
<str>nameOfCustomComponent2</str>
</arr>
-->
</requestHandler>

若是想更深刻了解，能够参考下这几篇文章，

http://wiki.apache.org/solr/SolrConfigXml/

http://www.yunvn.com/thread-15932-1-1.html

http://www.luoshengsha.com/197.html