Solr dataimport 功能

(solr-7.1.0  jetty方式)java

从MySQL导入数据至solr索引中mysql

一、 managed-schema文件,索引字段设置sql

<field name="id" type="string" docValues="false" indexed="true" stored="true" required="true"/>
<field name="name" type="string" docValues="false" indexed="true" stored="true"/>
<field name="course_Id" type="plong" docValues="false" indexed="true" stored="true"/>
<field name="author" type="string" docValues="false" indexed="true" stored="true"/>

二、 solrconfig.xml文件设置,导入相关jar包,及配置requestHandler 数据库

须要注意的是mysql-connector-java-5.1.26.jar需自行下载apache

<lib dir="${solr.install.dir:../../../..}/contrib/dataimporthandler-extras/lib" regex=".*\.jar" />
<lib dir="${solr.install.dir:../../../..}/dist/" regex="solr-dataimporthandler-.*\.jar" />
<lib dir="${solr.install.dir:../../../..}/server/lib" regex="mysql-connector-java-5.1.26.jar"/>

data-config.xml为自定义名称的配置文件,需上传至zookeeper中ui

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
    <lst name="defaults">
        <str name="config">data-config.xml</str>
    </lst>
</requestHandler>

data-config.xmlurl

 field 中的column对应数据库的一个字段,name对应managed-schema中的namecode

<dataConfig>
    <dataSource name="jdbcDataSource" type="JdbcDataSource" 
    driver="com.mysql.jdbc.Driver"
    url="jdbc:mysql://xxxxxx:3306/mooc_subject?useUnicode=true&amp;characterEncoding=utf8&amp;rewriteBatchedStatements=true" 
    user="xxxxx" password="xxxx"/>
    <document>
        <entity dataSource="jdbcDataSource" name="mooc_subject" query="select * from mooc_subject" >
                <field column="id" name="id"></field>
                <field column="name" name="name"></field>
                <field column="course_Id" name="course_Id"></field>
                <field column="author" name="author"></field>
        </entity>
    </document>
  </dataConfig>

打开solrcloud页面选择dataimportserver

Command 选择 Full-Import(Full-Import 会先清空在导入,data-import则是根据配置修改指定数据)xml

Entity 选择 配置文件中预先定义的

而后执行便可,出现下图提示,表示成功。

在Query页查询,显示确实导入了531353条记录

相关文章
相关标签/搜索