Solr6 快速入门教程

时间 2019-12-05

标签 solr6 solr 快速入门教程繁體版

原文原文链接

Solr6 快速入门教程

安装

环境要求

JDK1.8
下载Solr,本文试验时,使用的Solr6.6.0

开始安装

解压solr-6.6.0.zip
cd solr-6.6.0\
启动solr，run: bin\solr start -e cloud -noprompt

D:\machine\solr\solr-6.6.0>bin\solr start -e cloud -noprompt

Welcome to the SolrCloud example!

Starting up 2 Solr nodes for your example SolrCloud cluster.
...

Started Solr server on port 8983. Happy searching!
...

Started Solr server on port 7574. Happy searching!
...

SolrCloud example running, please visit: http://localhost:8983/solr


D:\machine\solr\solr-6.6.0>

访问Solr管理可视化页面: http://localhost:8983/solr，检测Solr是否运行。

Solr 如今将运行两个节点,一个在端口7574，一个在端口8983,有一个自动建立的文档gettingstarted,默认有两个分片收集,每一个分片有两个副本,这管理页面的Cloud tab 能够很直观的查看。html

Solr服务器已经启动并运行，可是它不包含任何数据。Solr安装包括了bin/post工具，以便从一开始就方便地从Solr的文档中得到各类类型的文档。java

注意:当前的bin/post工具没有一个能够比拟的Windows脚本，可是调用的底层Java程序是可用的。

学习post.jar

在windows中,bin/post能够委托给一个独立运行的Java程序叫SimplePostTool,能够执行运行 java -jar example/exampledocs/post.jarnode

D:\machine\solr\solr-6.6.0>java -jar example\exampledocs\post.jar -h查看帮助能够(获取文件，递归到一个网站或文件系统文件夹，或者向Solr服务器发送直接命令)

SimplePostTool version 5.0.0
Usage: java [SystemProperties] -jar post.jar [-h|-] [<file|folder|url|arg> [<file|folder|url|arg>...]]
...
...

要看懂这个post.jar，首先要知道，被中括号包住的参数表示可选参数，|表示或者，SystemProperties表示系统属性;
什么叫系统属性呢?即经过System.setProperty(key,value)设置的参数;

这里的key，value值都是随便定义的，没什么特别要求，这样你随后经过System.getProperty(key)经过key就能在任意时刻获取到该key对应的参数值，若是是在dos命令行下，你也能够经过java -Dkey=value这种方式指定，至此java [SystemProperties]这部分你应该理解了，至于后面的-jar是java命令的参数，即执行一个jar文件，-jar后面指定一个jar包路径，默认是相对于当前所在路径，-h即表示添加了这个即会打印命令提示信息，就比如你敲java -h是相似的，后面的file,folder,url,args分别表示你要提交的数据的几种不一样表示形式，file即表示你要提交的数据是存在于文件中，而folder即表示你要提交的存在于文件夹中，url即表示你要提交的数据是存在于互联网上的一个URL地址表示的资源，它多是一个HTML页面，多是一个PDF文件，多是一个图片等等，args即表示你要提交的数据直接在命令行敲出来，但arges并非随随便便一个字符串就行的，它须要有固定的格式，solr才能解析web

java -jar example\exampledocs\post.jar -h查看帮助列出的内容说到:

Supported System Properties and their defaults:
  -Dc=<core/collection>
  -Durl=<base Solr update URL> (overrides -Dc option if specified)
  -Ddata=files|web|args|stdin (default=files)
  -Dtype=<content-type> (default=application/xml)
  -Dhost=<host> (default: localhost)
  -Dport=<port> (default: 8983)
  -Dbasicauth=<user:pass> (sets Basic Authentication credentials)
  -Dauto=yes|no (default=no)
  -Drecursive=yes|no|<depth> (default=0)
  -Ddelay=<seconds> (default=0 for files, 10 for web)
  -Dfiletypes=<type>[,<type>,...] (default=xml,json,jsonl,csv,pdf,doc,docx,ppt,pptx,xls,xlsx,odt,odp,ods,ott,otp,ots,rtf,htm,html,txt,log)
  -Dparams="<key>=<value>[&<key>=<value>...]" (values must be URL-encoded)
  -Dcommit=yes|no (default=yes)
  -Doptimize=yes|no (default=no)
  -Dout=yes|no (default=no)

-D是命令行下指定系统属性的固定前缀数据库
- c表示collection名称，你须要对solr admin里的哪一个collection进行索引数据添加/修改/删除
- url表示solr admin后台索引更新的请求URL，这个URL是固定的，通常格式是http://host:port/solr/${collectionName}/update,这里的${collectionName}和上面的c属性值保持一致
- data表示你要提交数据的几种模式，files模式表示你要提交的数据在文件里apache
  - web表示你要提交的数据在互联网上的一个URL表示的资源文件里
  - args表示你要提交的数据你会直接在post.jar命令后面直接输入
  - stdin表示你要提交的数据须要在dos命令行下经过System.in输入流临时接收，跟args有点相似，但不一样的是，stdin模式下，post.jar后面不须要指定任何参数，直接回车便可，而后程序会等待用户输入，用户输入完毕再回车，post.jar会接收到用户输入，post.jar从新被唤醒继续执行。而args是直接在post.jar后面输入参数，没有一个中断过程，而stdin模式下若是用户一直没有输入，那post.jar就会一直阻塞在那里等待用户输入为止。

type表示你要提交数据的MIME类型，默认是application/xml即默认会看成是XML来处理
host表示你要连接的SOlr Admin部署服务器的主机名或者IP地址，默认是localhost
port表示你要连接的Solr Admin部署的Web容器监听的端口号，默认post.jar里设置为8983port具体值取决于你实际部署环境而定
auto表示是否自动猜想文件类型
recursive表示是否递归，这里递归有两种状况，好比你data=folder即表示是否递归查找文件夹下的全部文件，如data=web即表示是否递归抓取URL,设置为no即表示不递归操做，设置为一个数字，即表示递归深度
delay：这里的时间延迟也分两种，若是你post的是file,那么每一个file的post间隔为0，即不作延迟处理而若是你是post的是网络上的一个url资源，由于须要受到对方服务器的访问限制，因此必需要作一个抓取频率限制即每抓一个睡眠一下子，不然抓取太快太频率容易被对方封IP。
filetypes表示post.jar支持提交哪些文件类型，后面有列出默认支持的文件类型，若是你想覆盖默认值，那么请指定此参数
params表示须要追加到Solr Admin的请求URL后面的请求参数如id=1&name=yida之类的
commit表示是否提交到solr admin后台进行索引写入，设置为false表示不提交至sor admin,但设置为true也不必定就意味着就必定会把索引写入磁盘，这取决于solrconfig中directory配置的实现是什么，若是配置的是RAMDirectory，就仅仅只在内存中操做了。
optimize表示是否须要对索引进行优化操做，默认为no即表示不对索引进行优化
out即OutputStream表示输出流，这个参数做用就是，你请求Solr Admin添加索引数据，Solr Admin后台会返回数据给你，Solr Admin后台返回的数据你拿什么输出流来接收，默认是System.out即表示把后台返回的信息输出打印到控制台

参数这里应该已经搞得清楚了,再来看看官方提供的几个post.jar使用命令示例:

Examples:
  java -Dc=gettingstarted -jar post.jar *.xml
  java -Ddata=args -Dc=gettingstarted -jar post.jar '<delete><id>42</id></delete>'
  java -Ddata=stdin -Dc=gettingstarted -jar post.jar < hd.xml
  java -Ddata=web -Dc=gettingstarted -jar post.jar http://example.com/
  java -Dtype=text/csv -Dc=gettingstarted -jar post.jar *.csv
  java -Dtype=application/json -Dc=gettingstarted -jar post.jar *.json
  java -Durl=http://localhost:8983/solr/techproducts/update/extract -Dparams=literal.id=pdf1 -jar post.jar solr-word.pdf
  java -Dauto -Dc=gettingstarted -jar post.jar *
  java -Dauto -Dc=gettingstarted -Drecursive -jar post.jar afolder
  java -Dauto -Dc=gettingstarted -Dfiletypes=ppt,html -jar post.jar afolder

创建索引

索引一个包含多种文件的目录

bin/post能够循环提取文件目录,将每一个文件的原始内容发送到Solr以提取和索引

Solr安装后,包括一个docs/子目录,windows下使用以下命令:java -Dc=gettingstarted -Dauto=yes -Ddata=files -Drecursive=yes -jar example/exampledocs/post.jar docs/编程

linux下可使用bin/post -c gettingstarted docs/
命令解析:json

-c gettingstarted:要索引的集合的名称
docs/: Solr安装目录下的/docs的相对路径

Solr索引XML

使用bin/post，索引示例Solr XML文件中的示例/example文档/:
linux下使用:bin/post -c gettingstarted example/exampledocs/*.xml
windows下使用:
java -Dc=gettingstarted -Dauto=yes -Ddata=files -Drecursive=yes -jar example/exampledocs/post.jar example\exampledocs\*.xml
你将会看到:windows

D:\machine\solr\solr-6.6.0>java -Dc=gettingstarted -Dauto=yes -Ddata=files -Drecursive=yes -jar example/exampledocs/post.jar example\exampledocs\*.xml
SimplePostTool version 5.0.0
Posting files to [base] url http://localhost:8983/solr/gettingstarted/update...
Entering auto mode. File endings considered are xml,json,jsonl,csv,pdf,doc,docx,ppt,pptx,xls,xlsx,odt,odp,ods,ott,otp,ots,rtf,htm,html,txt,log
Entering recursive mode, max depth=999, delay=0s
POSTing file gb18030-example.xml (application/xml) to [base]
POSTing file hd.xml (application/xml) to [base]
POSTing file ipod_other.xml (application/xml) to [base]
POSTing file ipod_video.xml (application/xml) to [base]
POSTing file manufacturers.xml (application/xml) to [base]
POSTing file mem.xml (application/xml) to [base]
POSTing file money.xml (application/xml) to [base]
POSTing file monitor.xml (application/xml) to [base]
POSTing file monitor2.xml (application/xml) to [base]
POSTing file mp500.xml (application/xml) to [base]
POSTing file sd500.xml (application/xml) to [base]
POSTing file solr.xml (application/xml) to [base]
POSTing file utf8-example.xml (application/xml) to [base]
POSTing file vidcard.xml (application/xml) to [base]
14 files indexed.
COMMITting Solr index changes to http://localhost:8983/solr/gettingstarted/update...
Time spent: 0:00:03.233

注意:您能够浏览文档索引在http://localhost:8983/solr/ge...

索引JSON

Solr支持索引JSON，即任意结构化JSON或“Solr JSON”(相似于Solr XML)
Solr包含一个很小的示例Solr JSON文件，以演示该功能。再次使用bin/post，索引示例JSON文件:

linux使用: bin/post -c gettingstarted example/exampledocs/books.json
windows使用:java -Dc=gettingstarted -Dauto=yes -Ddata=files -Drecursive=yes -jar example/exampledocs/post.jar example\exampledocs\books.json

你将看到以下信息:

D:\machine\solr\solr-6.6.0>java -Dc=gettingstarted -Dauto=yes -Ddata=files -Drecursive=yes -jar example/exampledocs/post.jar example\exampledocs\books.json
SimplePostTool version 5.0.0
Posting files to [base] url http://localhost:8983/solr/gettingstarted/update...
Entering auto mode. File endings considered are xml,json,jsonl,csv,pdf,doc,docx,ppt,pptx,xls,xlsx,odt,odp,ods,ott,otp,ots,rtf,htm,html,txt,log
Entering recursive mode, max depth=999, delay=0s
POSTing file books.json (application/json) to [base]/json/docs
1 files indexed.
COMMITting Solr index changes to http://localhost:8983/solr/gettingstarted/update...
Time spent: 0:00:01.211

要了解关于索引Solr JSON的更多信息，请参阅Solr参考指南部分Solr-Style JSON

索引CSV

数据到Solr的一个重要通道是经过CSV,尤为是当文档是均匀的，全部的记录都有相同的字段。CSV能够方便地从电子表格中导出，例如Excel，或者从MySQL等数据库导出。在开始使用Solr时，一般最容易将结构化数据转换为CSV格式，而后将其索引到Solr，而不是一个更复杂的单步操做。
使用bin/post索引包含的示例CSV文件:

linux下使用：bin/post -c gettingstarted example/exampledocs/books.csv
windows下使用:java -Dc=gettingstarted -Dauto=yes -Ddata=files -Drecursive=yes -jar example/exampledocs/post.jar example\exampledocs\books.csv

在你的终端，你会看到:

D:\machine\solr\solr-6.6.0>java -Dc=gettingstarted -Dauto=yes -Ddata=files -Drecursive=yes -jar example/exampledocs/post.jar example\exampledocs\books.csv
SimplePostTool version 5.0.0
Posting files to [base] url http://localhost:8983/solr/gettingstarted/update...
Entering auto mode. File endings considered are xml,json,jsonl,csv,pdf,doc,docx,ppt,pptx,xls,xlsx,odt,odp,ods,ott,otp,ots,rtf,htm,html,txt,log
Entering recursive mode, max depth=999, delay=0s
POSTing file books.csv (text/csv) to [base]
1 files indexed.
COMMITting Solr index changes to http://localhost:8983/solr/gettingstarted/update...
Time spent: 0:00:00.874

更多信息,请参阅Solr指南部分CSV格式的索引更新CSV Formatted Index Updates

其余索引技术

使用数据导入处理程序(DIH)从数据库中导入记录。
使用Solr在基于jvm的语言或其余Solr客户端，以编程方式建立文档发送到Solr。
使用Solr管理页面的文档选项卡粘贴一个要被索引的文档,或者选择Document Type的下拉选项卡选择Document Builder每次添加一个字段来构建文档.单击表单下面的Submit文档按钮，以索引文档。

数据操做

更新数据

默认状况下,schema.xml指定了一个uniqueKey字段id,即便咱们索引一个内容屡次,它也不会重复添加,当咱们POST命令到Solr添加文档时,若是uniqueKey字段当前值已存在,它会自动替换原来的内容.

删除数据

能够经过将delete命令发送到更新URL并指定文档的唯一键字段的值，或者匹配多个文档的查询(当心使用这个！)来删除数据。
执行如下命令删除一个特定的文档:

linux使用:bin/post -c gettingstarted -d "<delete><id>SP2514N</id></delete>"
windows使用:java -Dc=gettingstarted -Ddata=args -jar example\exampledocs\post.jar "<delete><id>1</id></delete>"

搜索

Solr能够经过REST客户端,cURL,wget,POSTMAN等来查询,以及许多编程语言均可以使用的本地客户端。

Solr管理UI包含一个查询构建器接口——gettingstarted默认文档查询:http://localhost:8983/solr/#/...若是你不改变表单里的任何内容,直接点击Execute Query按钮,你将获得默认10条JSON格式的文档(*:*做为q的参数表示匹配全部文档)

由Admin UI发送到Solr的URL显示在上面屏幕右上角的浅灰色中，若是你点击它，你的浏览器将会显示原始的响应。要使用cURL，请在cURL命令行中使用相同的URL:

curl "http://localhost:8983/solr/gettingstarted/select?indent=on&q=*:*&wt=json"

基础

搜索一个词

搜索一个特定的词,须要把在Solr Admin UI查询板块中的q的参数值*:*替换成你想要查询的词

curl "http://localhost:8983/solr/gettingstarted/select?wt=json&indent=true&q=foundation"

你将获得:

$ curl "http://localhost:8983/solr/gettingstarted/select?wt=json&indent=true&q=foundation"
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  2017  100  2017    0     0   123k      0 --:--:-- --:--:-- --:--:--  123k{
  "responseHeader":{
    "zkConnected":true,
    "status":0,
    "QTime":17,
    "params":{
      "q":"foundation",
      "indent":"true",
      "wt":"json"}},
  "response":{"numFound":3,"start":0,"maxScore":3.4038174,"docs":[
      {
        "id":"0553293354",
        "cat":["book"],
        "name":["Foundation"],
        "price":[7.99],
        "inStock":[true],
        "author":["Isaac Asimov"],
        "series_t":["Foundation Novels"],
        "sequence_i":1,
        "genre_s":"scifi",
        "_version_":1576664844219711488},
      {
...

响应代表，有3个命中("numFound":3)，其中前10个被返回，由于默认的start=0，rows=10。您能够经过指定这些params查询结果，其中start是第一个结果返回的(基于零的)位置，而raws是一页的大小。

要限制响应中返回的字段，请使用fl param，该命令将使用逗号分隔的字段名列表。只返回id字段:

curl "http://localhost:8983/solr/gettingstarted/select?wt=json&indent=true&q=foundation&fl=id"

q=foundation匹配了咱们已经索引的几乎全部文档，由于文档中的大多数文件都包含“Apache软件基金会”。要限制搜索到特定字段，使用语法"q=field:value"，例如只在name字段中搜索Foundation:

curl "http://localhost:8983/solr/gettingstarted/select?wt=json&indent=true&q=name:Foundation"

短语检索

要搜索一个多词短语，用双引号括起来:q="这里的多个词语"。例如，搜索"CAS latency"注意，术语之间的空格必须转换为"+"(Admin UI将自动处理URL编码):

curl "http://localhost:8983/solr/gettingstarted/select?wt=json&indent=true&q=\"CAS+latency\""

你将看到:

"responseHeader":{
    "zkConnected":true,
    "status":0,
    "QTime":9,
    "params":{
      "q":"\"CAS latency\"",
      "indent":"true",
      "wt":"json"}},
  "response":{"numFound":2,"start":0,"maxScore":2.9027793,"docs":[
      {
        "id":"TWINX2048-3200PRO",
        "name":["CORSAIR  XMS 2GB (2 x 1GB) 184-Pin DDR SDRAM Unbuffered DDR 400 (PC 3200) Dual Channel Kit System Memory - Retail"],
        "manu":["Corsair Microsystems Inc."],
        "manu_id_s":"corsair",
        "cat":["electronics",
          "memory"],
        "features":["CAS latency 2,  2-3-3-6 timing, 2.75v, unbuffered, heat-spreader"],
...

组合搜索

默认状况下，当你在单一查询中搜索多个词或短语时，Solr只要求其中一个匹配，以便让文件匹配,包含更多词语的文档将在结果列表中排序更高。

你能够查询一个词经过前缀加上"+"来限定;相反，为了避免容许出现一个词，用"-"前缀来限定。
由于"+"字符在url中有一个保留的目的(空格字符编码),因此必须使用URL encode进行编码在curl中使用.

curl "http://localhost:8983/solr/gettingstarted/select?wt=json&indent=on&q=%2Baaa+%2BFoundatio"

查找含有"Foundation"可是不含有"aaa"的文档,在Admin UI 的查找页面的q参数中输入+Foundation -one,在curl中将"+"编码为"%2B"

$ curl "http://localhost:8983/solr/gettingstarted/select?wt=json&indent=on&q=%2BFoundation+-aaa"

深刻学习:要了解更多Solr搜索选项，请参阅Solr参考指南的搜索部分。

清除

当你在完成了上面示例后，你可能想要阻止Solr，并把环境从新设定到起点。下面的命令行将中止Solr并删除开始脚本建立的两个节点的目录:

bin/solr stop -all ; rm -Rf example/cloud/

接下来去哪里?

有关Solr的更多信息，请查看如下参考资料:
- Solr参考指南(确保您将参考指南的版本与您的Solr版本匹配)
- 也能够参考一些额外的资源

Solr6 快速入门教程

Solr6 快速入门教程

安装

环境要求

开始安装

学习post.jar

更多关于post.jar的信息请点击这里

创建索引

索引一个包含多种文件的目录

Solr索引XML

索引JSON

索引CSV

其余索引技术

数据操做

更新数据

删除数据

搜索

基础

搜索一个词

短语检索

组合搜索

清除

接下来去哪里?