.Net程序员 Solr-5.3之旅 (三)Solr 从MSSQ导入索引数据

时间 2019-11-24

标签程序员 solr 5.3 之旅 mssq 导入索引数据栏目快乐工作繁體版

原文原文链接

阅读目录web

引言

Other men live to eat, while I eat to live.----苏格拉底 sql

别人活着为了享受吃,而我吃是为了活着。数据库

咱们活着不能只是为了吃，嘿嘿，有时候咱们还得写点代码=。=|| apache

回到顶部

准备工做

1.sqljdbc4.jar 我用的SqlServer2008tomcat

Microsoft JDBC Driver 4.0 for SQL Server 支持如下操做系统：app

Linux、Unix、Windows Server 200八、webapp

Windows Vista Service Pack 一、Windows Server 2008 R2 和 Windows 7。sqlserver

2.将solr-5.3.1\dist目录下的 solr-dataimporthandler-5.3.1.jar复制到apache-tomcat\webapps\solr\WEB-INF\lib目录下学习

3.将下载的sqljdbc4.jar放到apache-tomcat\webapps\solr\WEB-INF\lib目录下优化

4.在Solr5中默认dataImport功能是禁用的，须要在D:\solr_home\FixValue\conf\solrconfig.xml中追加配置

    <requestHandler name="/dataimport" class="solr.DataImportHandler">  
    <lst name="defaults">  
    <str name="config">data-config.xml</str>  
    </lst>  
    </requestHandler>

data-config.xml表明的是当前路径用于数据导入的配置文件，我上篇文章有说到将Example中的配置文件复制过来，里面就包含这个文件

目录在solr-5.3.1\example\example-DIH\solr\solr\conf\data-config.xml

回到顶部

data-config.xml

接下来咱们导入数据的关键配置就在 solr-data-config.xml和schema.xml这两个文件里面

1.solr-data-config.xml 个人配置是：

<env-entry>
<dataConfig>
  <dataSource name="Test" type="JdbcDataSource" driver="com.microsoft.sqlserver.jdbc.SQLServerDriver" url="jdbc:sqlserver://192.168.1.1:1433;DatabaseName=Test" user="sa" password="123456"></dataSource>
  <document>
    <entity name="FixValue" dataSource="hunter" 
      query="SELECT ID ,FixType,Value,Name,Status,OrderSort,CreationDate FROM [FixValue]" 
      deltaQuery="SELECT ID FROM [FixValue] where CreationDate > '${dataimporter.last_index_time}'"
      deltaImportQuery="SELECT * FROM [FixValue] where ID='${dih.delta.ID}'"
      >
      <field column="ID" name="id"/>
      <field column="FixType" name="fixtype"/>
      <field column="Value" name="value"/>
      <field column="Name" name="name"/>
      <field column="Status" name="status"/>
      <field column="OrderSort" name="ordersort"/>
      <field column="CreationDate" name="creationdate"/>
    </entity>
  </document>
</dataConfig>

若是你英文还能够，能够到https://wiki.apache.org/solr/去查找你须要的资料

这里咱们用到的是https://wiki.apache.org/solr/DataImportHandler#Configuration_in_data-config.xml

对于solr-data-config.xml的配置，里面都有详细说明，下面我抓几个重要部分说一下：

dataSource数据库连接。

entity.dataSource咱们要使用的连接配置名称。

entity.query用于第一次将全部数据所有导入到Solr中。

entity.deltaQuery用于查找有更改的数据。

entity.deltaImportQuery将deltaQuery中超找到的数据同步到Solr中，就是对Solr中已经存在的索引数据进行增长和修改。

entity.deletedPkQuery 这里我没有配置到，具体怎么使用有待研究。

field.column 对应数据库中的字段名称

field.name 对应solr中存储的索引字段名称，区分大小写，后面咱们在使用query查询时用到

通常在导入索引数据时都要带上一个惟一的标识字段，用于solr对索引的增删改查

回到顶部

schema.xml

官方参考文献（英语）：https://wiki.apache.org/solr/SchemaXml

咱们拷贝过来的schema.xml文件中有一些示例数据，咱们先清除掉第一行name="_version_"到<uniqueKey>id</uniqueKey>之间的全部行

而后加入咱们对FixValue表的字段定义

    <field name="_version_" type="long" indexed="true" stored="true" required="true"/>
    <field name="id" type="string" indexed="true" stored="true" omitNorms="true" required="true"/>
    <field name="fixtype" type="string" indexed="true" stored="true" omitNorms="true"/>
    <field name="value" type="string" indexed="true" stored="true" omitNorms="true"/>
    <field name="name" type="text_general" indexed="true" stored="true" omitNorms="true"/>
    <field name="status" type="string" indexed="true" stored="true" omitNorms="true"/>
    <field name="ordersort" type="string" indexed="true" stored="true" omitNorms="true"/>
    <field name="creationdate" type="string" indexed="true" stored="true" omitNorms="true"/>
    <uniqueKey>id</uniqueKey>