【转载】solr初体验

【1】http://cxshun.iteye.com/blog/1039445

因为工做缘由，这段时间接触到solr，一个基于lucene的企业级搜索引擎。不怎么了解它的童鞋能够去GOOGLE一下。

下面开始正题：

1）要开始solr的学习，首先固然是要下载它啦（这是一句废话），能够到http://www.apache.org/dyn/closer.cgi/lucene/solr/这里去下载，最新的是1.4.1。下完后固然要解压啦（这也是废话）。咱们看到它的结构是这样的。

 相信搞JAVA的同志们应该都大概了解对应的文件夹的意思啦，在dist里面是它的一些JAR包，当中包含了一个war包，这个是咱们作例子时用到的项目。直接把它丢到tomcat的webapps里面去。

example目录里面有一些solr的索引数据，它自带了一个jetty方便运行，能够直接运行java -jar start.jar就能够运行jetty，但jetty的默认端口是8983，这个是跟tomcat不一样的地方，要注意啦。

2）搞定了这些以后，那么咱们应该继续来试运行一下这个东西啦。solr最重要的东西就是solr home，这个东西指定了solr创建的索引文件的存放位置。不知道是什么东西，能够先不用管它，一步步来也许就会明白了。

进到tomcat文件夹conf\Catalina\localhost这个文件夹内，创建一个solr.xml（其实名字是随便的，这里起的名字跟之后访问的项目名字一致，不过为了好找，仍是跟部署的项目名同样吧），这里面的内容呢，其实很简单，就和下面相似：

 

<Context docBase="D:/server/apache-tomcat-6.0.32/webapps/apache-solr-1.4.1.war" reloadable="true">
    <Environment name="solr/home" type="java.lang.String" value="E:/framework/libPack/apache-solr-1.4.1/example/solr" override="true" />
</Context>

  这个Context相信你们都知道罗，它是指定了war包的位置，当启动tomcat后它会自动被部署到webapps目录下，这也是eclipse所集成tomcat用的部署方式。而reloadable="true"则代表能够从新加载，即当这个部署内容改变时，它会自动进行加载。

下面的solr/home是重点啦，type是固定的，先无论，value指定的就是它用的索引目录。override固然就是覆盖啦，若是存在则覆盖。

这个solr/home其实在solr的下载包中已经带有一个，咱们能够找到solr目录下的example/solr这个目录，下面就是咱们所说的solr/home，其实当中最重要的仍是config目录下的solrconfig.xml，这个是solr的主要配置文件，能够在里面找到<dataDir>${solr.data.dir:./solr/data}</dataDir>这样一句，它指定了索引记录放置的位置，咱们启动tomcat后它会在咱们当前的目录下生成solr/data文件夹，里面就是索引文件。若是咱们从tomcat的bin启动，那么它会在bin目录下生成solr/data文件夹，能够根据本身须要进行修改，只要把./solr/data改为想让它放在目录就能够了。

这样配置完成后，咱们启动tomcat以后在浏览器输入http://localhost:8080/solr/admin就能够看到solr的管理界面啦。

 这样咱们的配置就大功告成了。

曾经看过javaeye上一位朋友问过淘宝上的分面搜索是怎么实现的，当时有一位高人说是用solr，没想到它能够作出这么牛的东西，还有好多要学习呢。

 

 

 

---------------------------------------------------------------------------

【2】http://cxshun.iteye.com/blog/1040656

接着上篇http://cxshun.iteye.com/blog/1039445，咱们讲了怎么初始化配置solr，并运行。问题来了，当咱们配置完成后，索引当中并无任何东西，就是说咱们查询获得的结果永远是0。

如今这篇文章，咱们要讲的就是若是添加数据和删除数据，并体验一下solr的基本请求参数的用法。

1）首先，咱们必须知道，solr添加数据类型能够有多种格式，最经常使用的是XML和JSON，这两种的可读性是最好的。在solr的example/exampledocs文件夹内有自带一些XML格式的文件，便于咱们进行添加数据。

首先呢，又是一些废话，固然是启动example自带的jetty啦，仍是上次的命令，java -jar start.jar。

接着另外开一下cmd，进入到example/exampledocs文件夹内，运行java -jar post.jar *.xml，这里的*.xml表明文件夹内的全部XML文件，固然你也能够选择其余一个进行添加，执行后咱们看到执行结果。

看到最后一句，它代表提交此次索引全部的变化。这个提交的设置咱们在后面会看到它的用法。

2）这里咱们再进入到solr的管理页面，http://localhost:8983/solr/admin，咱们直接搜索solr，看到页面大概以下：

 咱们进行搜索的结果默认是用XML格式显示，固然咱们可让它用JSON格式来显示，只要加上wt=json便可，加上后咱们看到的结果为：

  能够看到正确的结果。

http://localhost:8983/solr/select/?q=solr&version=2.2&start=0&rows=10&indent=on&wt=json下面咱们分析一下这个连接中参数的意义，q固然是搜索的内容啦，version暂时能够无论，用处不在，start和rows与hibernate中的分页参数相似，指开始的记录位置和查询的条数，indent指返回代码的缩进，能够试一下不加这个和加这个的区别，wt则是返回的结果格式。

3）上面是咱们用的它自带的XML文件提交的结果，下面咱们本身来写一个。为了方便，咱们就参照它的救命文件写一个。咱们找到schema.xml能够看到：

  这个是它容许咱们提交的field的名称，咱们就参照这些字段写几个试试吧。我把这个文件命名为test.xml

 

<add>
    <doc>
            <field name="id">Donnie Yen</field>
            <field name="text">Great</field>
    </doc>
</add>

  接着咱们用java -jar post.jar test.xml出现下面的结果：

  这代表咱们的数据已经提交成功，咱们能够搜索一下：

http://localhost:8983/solr/select/?q=text:great&version=2.2&start=0&rows=10&indent=on

  这代表咱们提交的数据已经成功更新到索引了。

4）说了添加，如今也该来删除一些东西了，咱们想删除咱们刚才添加的那条记录，咱们能够发送命令java -Ddata=args -jar post.jar "<delete><id>Donnie Yen</id></delete>"（这个命令中的-Ddata=args代表数据是中参数中获取），出现

  则咱们删除成功，不肯定？那么咱们再去查一下：

  没了吧，证实咱们删除成功了。

这些东西不难吧。solr用得比较多的东西就是分面浏览，也就是facet navigation。下面咱们来学习一下。

5）分面浏览指的是像淘宝的功能同样，咱们搜索一种产品，它会在上面再根据类别分出好多小类，直接看图：

  咱们看到它又分出了好多类，这种效果就叫分面浏览。

solr能够轻松作到分面浏览，好比咱们在浏览器输入http://localhost:8983/solr/select/?q=solr&version=2.2&start=0&rows=10&indent=on&facet=true&facet.field=name&facet.query=price:[300%20TO%20400]，咱们能够看到：

  这就是分面浏览的结果，它根据每一个值再从新统计，统计出该类别下有多少个值。分面浏览的参数比较多，你们能够上WIKi上面看看http://wiki.apache.org/solr/SimpleFacetParameters。

 

--------------------------------------------------------------------------------------------------------------

【3】http://cxshun.iteye.com/blog/1041742

前两天，学习了solr的基本用法，接下来咱们就开始真正来学习一下solr。学习一下它的文件结构，配置文件等。

以咱们如今学习的阶段，最重要的文件夹就是example文件夹，这个里面包含了许多咱们要学习的东西。

咱们再来看一下该文件夹结构

咱们看到这样的文件结构，文件夹的意思你们确定都看得懂，这里只介绍两个文件夹，multicore和solr。

multicore是多个solr实例时才须要用到，如今咱们暂时没用，先无论它。solr是自带的一个solr.home，这个是咱们这次介绍的重点。

进入此文件夹，咱们能够看到以下的结构：

bin文件夹为咱们有额外的处理脚本时，须要放在这里，这里暂时没用到，咱们先跳过。

conf是solr的配置文件所在，这里是重点。

data为索引目录。

因为我觉得运行过，因此有这个data.bak目录，这具是之前的备份。

咱们主要来看一下conf文件夹内的配置文件：

这里带副本的是个人备份文件。最主要的文件是schema.xml和solrconfig.xml，其他的如stopwords.txt为停顿词，当索引和查询时遇到这些词会自动忽略，其余文件，咱们暂时不用，先不讲了。

打开solrconfig.xml咱们能够看到<dataDir>这个标签，默认状况下是这样的

<dataDir>${solr.data.dir:./solr/data}</dataDir>

  它默认在当前目录下的solr目录下建立data目录来存放索引。这就是为何当咱们把solr.home设置成这个时，在tomcat的bin文件夹内启动时会生成solr/data文件夹。由于咱们启动tomat时的当前目录为bin。

固然这个不是solr配置错误，对于它自带的jetty服务器来讲，它是正确的，由于当前目录，正好是solr的目录。

这个文件咱们须要配置的东西很少，先讲到这里，之后用到时再慢慢讲解。

接下来咱们看一下重点的schema.xml，这个文件是对咱们索引字段的说明，咱们能够索引什么field都在这里进行了说明。

咱们能够看到里面有一大堆注释，其实看里面的注释，大部分都是能够理解的。这个文件的配置跟咱们之后须要进行的中文分词的集成有很大关系，因此这个文件要多看看。

咱们看到types标签，而在它里面有一大堆fieldType，里面也有一大堆属性，这里大概介绍一下：

fieldType是定义索引的field类型，它有好几个属性，最主要的是name和class：

name是类型的名称，class是相应的solr中的类。还有两个属性看英文注释可能比较难理解，是sortMissingLast和sortMissingFirst，这两个属性是指当查找出来的内容为空时，它被排在哪里，当sortMissingLast为true时，表示放在最后，sortMissingFirst为true时，表示放在最前。为false时相反。

注意，咱们看到后面时发现有fieldType里面有<Analyzer>标签，这个是用于配置分词器的，这个咱们之后再说。

接着是<fields>标签和在它里面的<field>，field固然就是咱们在索引的内容啦。

它有属性indexed和stored分别对应是否索引和保存，另外还有一个multiValued表示是否容许多值。

这里咱们看到features有好几个值，而咱们看到配置文件中配置的features也是这样的：

<field name="features" type="text" indexed="true" stored="true" multiValued="true"/>

它表示咱们索引的field有多个值，若是这里没配置，在发送数据的时候会报错。

这里的type是对应咱们前面配置的fieldType。

另外有一个<dynamicField>这是一个动态匹配的域，

<dynamicField name="*_i"  type="int"    indexed="true"  stored="true"/>

咱们看到它的name指定了通配符，它指的是能够匹配全部以_i结尾的名称的field，若是咱们指定

<dynamicField name="*"/>

那咱们就能够匹配全部的field。

接下来，咱们看到：

 

 <uniqueKey>id</uniqueKey>

<defaultSearchField>text</defaultSearchField>

<solrQueryParser defaultOperator="OR"/>
 <copyField source="cat" dest="text"/>

        这里应该看英文就能够看明白了，最主要是最下面的copyField，它是指复制field，它会把在source field里的值拷贝到text field里面，这样方便进行索引。注意，这里通常也只有对多值的才会这样作，也便是配置了multiValued为true的field才用copyField.

  
--------------------------------------------------------------------------------------------------------------

 

【4】http://cxshun.iteye.com/blog/1043200

 

前几回咱们讲到了solr的基本用法和配置文件，接下来就开始进入咱们真正的代码之旅啦。

1）首先以一个简单的程序来开头：

public static void main(String[] args) throws SolrServerException, IOException, ParserConfigurationException, SAXException{

          //设置solr.home，注意这时经过环境变量是solr.solr.home
      System.setProperty("solr.solr.home","E:\\solr");
          //初始化容器，让它加载solr.home的配置文件
      CoreContainer.Initializer initializer = new CoreContainer.Initializer();
      CoreContainer coreContainer = initializer.initialize();

      EmbeddedSolrServer solrServer = new EmbeddedSolrServer(coreContainer,"");
      //构造参数列表
      SolrQuery solrQuery = new SolrQuery();
      Map<String,String> map = new HashMap<String,String>();
      map.put(FacetParams.FACET_DATE, "manufacturedate_dt");
      map.put(FacetParams.FACET_DATE_START,"2004-01-01T00:00:00Z");
      map.put(FacetParams.FACET_DATE_END,"2010-01-01T00:00:00Z");
      map.put(FacetParams.FACET_DATE_GAP,"+1YEAR");
      map.put("indent","on");
      map.put("wt","xml");
      map.put("hl.fl","name");
      SolrParams params = new MapSolrParams(map);
      solrQuery.add(params);
      solrQuery.setFacet(true);
      solrQuery.setFields("name,price,score");
      solrQuery.setQuery("solr");
      solrQuery.setSortField("price",SolrQuery.ORDER.asc);
      solrQuery.setHighlight(true);

      System.out.println(solrQuery.toString());

      QueryResponse queryResponse = solrServer.query(solrQuery);
      System.out.println(queryResponse.toString());
      System.out.println("共找到:"+queryResponse.getResults().getNumFound()+"个结果");
          //解析返回的参数
      SolrDocumentList sdl = (SolrDocumentList)queryResponse.getResponse().get("response");
      for (int i = 0; i< sdl.size(); i++){
          Object obj = sdl.get(i).get("manufacturedate_dt");
          String date = "";
          if (obj!= null){
              date = new SimpleDateFormat("yyyy-MM-dd").format((Date)obj);
          }

          System.out.println(((SolrDocument)sdl.get(i)).get("name")+":"+date+":"+(sdl.get(i).get("price")));
      }
  }

  这时咱们所用到的是EmbeddedSolrServer，它是用于嵌入式地solr服务，这里咱们不须要向外提供服务，因此咱们就用到这个。另外有一个

CommonsHttpSolrServer这个类是用于发送指令的服务，例如咱们须要发送HTTP命令来查询，就能够用这个。

下面咱们分析一下代码，首先，咱们设置了一个环境变量的名称为solr.solr.home，是这个，你没看错，确实是要这样。接下来咱们初始化容器，让它加载solr.home的配置文件等。接下来的一系统代码就是构造参数列表。

咱们构造完成后的参数列表是这样的：facet.date.start=2004-01-01T00%3A00%3A00Z&indent=on&facet.date=manufacturedate_dt&hl.fl=name&facet.date.gap=%2B1YEAR&wt=xml&facet.date.end=2010-01-01T00%3A00%3A00Z&facet=true&fl=name%2Cprice%2Cscore&q=solr&sort=price+asc&hl=true

跟咱们直接在浏览器输入的不太同样，由于它是进行过编码的。构造完成后咱们就能够用solrServer进行查询了。

查询获得的结果是JSON格式的，注意，经过程序来查询获得的都是JSON格式，而不是XML格式，不过这样更好，方便咱们进行接下来的解析。

接下来的代码就是解析内容啦，应该很容易看懂的。

2）接下来的咱们就尝试本身写一个程序来进行索引，而不用post.jar。

程序代码以下：

public static void main(String[] args) throws IOException, ParserConfigurationException, SAXException{

        System.setProperty("solr.solr.home","e:\\solrIndex");

                //这下面三行代码主要是用于加载配置文件
        SolrConfig solrConfig = new SolrConfig("E:\\solrIndex\\conf\\solrconfig.xml");
        FileInputStream fis = new FileInputStream("E:\\solrIndex\\conf\\schema.xml");
        IndexSchema indexSchema = new IndexSchema(solrConfig,"solrconfig",fis);

        SolrIndexWriter siw = new SolrIndexWriter("solrIndex","E:\\solrIndex",new StandardDirectoryFactory()
                ,true,indexSchema);
        Document document = new Document();
        document.add(new Field("text","测试一下而已",Field.Store.YES,Field.Index.ANALYZED,Field.TermVector.WITH_POSITIONS_OFFSETS));
        document.add(new Field("test_t","再测试一下而已",Field.Store.YES,Field.Index.ANALYZED,Field.TermVector.WITH_POSITIONS_OFFSETS));
        siw.addDocument(document);

        siw.commit();
        siw.close();

        SolrCore solrCore = new SolrCore("E:\\solrIndex",indexSchema);

        SolrIndexSearcher sis = new SolrIndexSearcher(solrCore,indexSchema,"solrIndex",
                        new StandardDirectoryFactory().open("E:\\solrIndex"),true);
        TopDocs docs = sis.search(new TermQuery(new Term("test_t","再")),1);

        System.out.println("找到"+docs.totalHits+"个结果 ");

        for (int i = 0; i < docs.scoreDocs.length; i++) {
            System.out.println(sis.doc(docs.scoreDocs[i].doc).get("test_t"));
        }

    }

  代码不难理解，因此就没写注释了。主要是那段加载配置文件的代码。接下来是添加索引，而后是查询索引，删除的比较简单，直接一句代码

solrServer.solrServer.deleteById("SOLR1000");

  或者

solrServer.deleteByQuery()

  都比较简单。

3）接下来咱们讲一下，极可能会在项目中用到的，就是中文分词，中文分词有蛮多的，有IK，Paoding，mmseg4j，还有另一些中科院什么地方的。但我的建议用IK或者mmseg4j，这两个有solr都有比较直接的支持，paoding也能够，但可能须要本身写类继承BaseTokenizerFactory而后再进行配置，不难。

上面的例子就是用到中文分词了，若是你发现找不到结果，那很正常，由于还没添加中文分词，你能够把中文改为英文，再查一下，就能够查出来了。

须要添加中文分词，咱们要在schema.xml中作文章。找到types标签，在里面找到你想要进行中文分词的类型，好比text类型，咱们想要让它的内容用中文分词来进行分析，能够进行配置：

<analyzer type="index">
        <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory"/>
        <filter class="solr.StopFilterFactory"
                ignoreCase="true"
                words="stopwords.txt"
                enablePositionIncrements="true"
                />
        <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0" splitOnCaseChange="1"/>
        <filter class="solr.LowerCaseFilterFactory"/>
        <filter class="solr.SnowballPorterFilterFactory" language="English" protected="protwords.txt"/>
      </analyzer>
      <analyzer type="query">
        <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory"/>
        <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
        <filter class="solr.StopFilterFactory"
                ignoreCase="true"
                words="stopwords.txt"
                enablePositionIncrements="true"
                />
        <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0" splitOnCaseChange="1"/>
        <filter class="solr.LowerCaseFilterFactory"/>
        <filter class="solr.SnowballPorterFilterFactory" language="English" protected="protwords.txt"/>
      </analyzer>

  你能够先不理解filter的那些东西，但你必定要理解tokenizer这些地方的配置，它配置了你想要应用的分词器，它必须继承于BaseTokenizerFactory。咱们看到analyzer有一个type属性，它表示你要在哪一个阶段运用此分词器，若是索引和查询都要用，咱们能够不写type，这样solr就会在索引和查询时都使用此分词器，这样配置完成后就能够进行中文分词的测试啦。咱们从新把上面的例子添加中文进行索引，而后查询出来，看有没有问题。个人运行结果以下：

 

  咱们找到告终果，证实咱们的中文分词已经没问题了。