SolrCloud6.1.0之SQL查询测试

 


Solr发展飞快，如今最新的版本已经6.1.0了，下面来回顾下Solr6.x以后的一些新的特色： 


（1）并行SQL特性支持，编译成Streaming 表达式，能够在solrcloud集群中，并行执行 
（2）SolrCloud的Collection被抽象成关系型数据库表，如今不单单能够支持强大的全文检索，还经过SQL支持像数据库同样的BI分析 
（3）在SQL的where语句中，全面支持强大的Lucene/Solr语法 
（4）一些聚合操做例如Group会自动优化成并行操做，经过使用Streaming表达式来以Map-Reduce的方式运行 
（5）在（4）中运行的聚合操做，还能够以原生的JSON Facet 方式，来优化提高性能 
（6）SQL特性目前仅支持SolrCloud集群方式，单机方式并不支持 



有关SolrCloud的集群搭建，在这里散仙就不详细说了，有兴趣的朋友，能够参考我前面的文章 
http://qindongliang.iteye.com/blog/2275990，搭建好的集群以下： 





实际上像Solr或者ElasticSearch能支持SQL，这并不奇怪，由于他们底层基本上都提供了SQL能支持的大部分功能接口，好比，排序，过滤 
分组，聚合等一些操做，能支持SQL，但不意味着能取代关系型数据库，偏偏相反，NoSQL是做为SQL的有力补充，怎么样组合搭配使用，能把业务 
场景优化的更好，或者能解决某类问题，才是引入这些框架的初衷。 

前面说到，Solr在api层面已经有各类功能的接口，缺的就是一个SQL语法解析器，以及如何与最新的Java8的对接？ 因此在Solr6.x里面，引入两个 
最重要的东东就是： 

（1）引入了Facebook开源的大数据SQL检索框架Presto的SQL Parser 
（2）使用Java8的Streaming Api写的Streaming Expressions （流式表达式），支持相似shell的管道的计算方式，能够对数据流进行各类复杂操做例如各类join， 
也能够进行图谱查询 


使用Solrj经过JDBC查询Solr，目前只能查，暂不支持更新，修改，删除等操做 
依赖jar包： 
$SOLR_HOME/dist/solrj-libs  全部的jar 
$SOLR_HOME/dist/solr-solrj-<version>.jar   solr-solrj.jar 
若是是maven项目： 

Java代码  

<!-- https://mvnrepository.com/artifact/org.apache.solr/solr-solrj -->
<dependency>
    <groupId>org.apache.solr</groupId>
    <artifactId>solr-solrj</artifactId>
    <version>6.1.0</version>
</dependency>

下面来看一段Solrj经过JDBC查询示例： 

Java代码  

Connection con=null;
    Statement stmt=null;
    ResultSet rs=null;
    try{
        String collection="sql_search";
        String aggregationMode="facet";// facet or map_reduce
        //注意solr//:后面跟的是zk集群地址，若是有chroot path还须要加上
        con=DriverManager.getConnection("jdbc:solr://192.168.1.184:2181/solr6?collection="+collection+"&aggregationMode="+aggregationMode+"&numWorkers=2");
        //检索，排序，topN
        String sql1="select dtime  from big_search order by dtime desc limit 4 ";
        //多级分组，排序1
        String sql2="select t1,t2,t3 , count(*)  from big_search group by t1,t2 ,t3 order by count(*) desc limit 3  ";
        //分组，过滤，排序2
        String sql21="select t1, count(*)  from big_search group by t1 having count(*) > 2 order by count(*) desc    ";
        //去重
        String sql221="select distinct t3 from sql_search limit 2  ";
        //全文检索查询
        String sql15="select rowkey from big_search  where title='(你好 苏州)' limit 4  ";
        //聚合函数  支持max，min，avg，sum，count
        String sql4="select count(*) from big_search  limit 2 ";
        //提取字段
        String sql3="select t1,t2 from big_search ";
        stmt = con.createStatement();//编译sql
        rs = stmt.executeQuery(sql21);//执行sql
        ResultSetMetaData metaData = rs.getMetaData(); //获取字段名元数据
        String line_space="\t"; //格式化打印
        for(int i=1;i<=metaData.getColumnCount();i++){
            System.out.print(metaData.getColumnName(i)+line_space);//打印表头
        }
        System.out.println();
        while(rs.next()) {//循环从游标提取数据
            for(int i=1;i<=metaData.getColumnCount();i++){//遍历列头
                System.out.print(rs.getString(metaData.getColumnName(i))+line_space);//格式化打印字段内容
            }
            System.out.println();
        }
        } finally {
            if(rs!=null){
        rs.close();
            }
            if(stmt!=null){
        stmt.close();
            }
            if(con!=null){
        con.close();
            }
        }

    System.out.println("====end====");

下面来看一段使用流式表达式查询的操做，无须任何依赖，在Solr的Admin界面就能操做； 
图中的代码的是查询solrcloud中每一个shard一条数据，而后总共返回3条数据，最后对3条数据，排序，取top1 








总结： 

（1）关于如何集成中文分词IK或者Ansj 

单机版的solr，若是是IK，须要在 
solr\server\solr-webapp\webapp\WEB-INF目录下，新建一个classes目录，将其词库文件所有放进去
而后将IK的jar包，放入solr\server\solr-webapp\webapp\WEB-INF\lib下。 

若是是Ansj，则须要将Ansj相关的jar包放入solr\server\solr-webapp\webapp\WEB-INF\lib下， 
而后将Ansj的library的目录，放在solr\server中。 

在SolrCloud集群模式中，是须要把某个collection下的conf下的全部文件，上传到zookeeper上的，全部的shard都会 
从zk上加载所需的文件，包括一些词库的配置，这个时候，放在本地磁盘上的词库，是不会被识别的，因此你须要把上传的词库 
文件一块儿上传到zk上，而后配置合理的路径便可，任何文件的更新，都须要reload整个collection才能更新（solr6以前是须要relaod全部的shard）， 
不然，发生的改动不会被识别。 


（2）理解map_reduce  和 facet两种聚合模式 

A： map_reduce  模式，支持任意多字段的聚合查询，不受限制，但性能稍低 
测试环境5个shard+3个副本 
测试数据，必须大于6（shard+1）条数据，不然会报错 

可测 group+distict 





执行流程以下： 

 



B：facet   模式，使用Solr原生的Json Facet Api 操做，受必定索引的限制，但性能较高 
只要求有shard，有数据，便可测试，利用solr原生的Facet api进行聚合 





（3）理解DocValue对SQL查询的影响 
大部分状况下在Solr中的SQL查询，是须要加上limit关键词的，若是你不加，要么你就会发现，你的查询可能会莫名其妙的报错 
这个时候问题的缘由大部分是跟DocValue有关的， Solr6要求，全部不加的limit查询的字段，必须所有是DocValue激活的 
字段，若是任何一个不是，那么查询确定报错，若是你加了limit关键词，要么能够不受这个限制影响。 

至于为何必需要激活DocValue字段才能进行all字段提取查询，主要目的仍是为了性能，想了解DocValue能够 
参考散仙以前的文章：http://qindongliang.iteye.com/blog/2297280 



（4） Solr6支持客户端工具（像MySQL的NaviCat）查询连接： 

A：DbVisualizer  （C/S客户端GUI） 
B：SQuirreL SQL （C/S客户端GUI） 
C：Apache Zeppelin  （B/S web端） 
大部分都须要配置添加有关的solr的jdbc的jar包，具体安装方式参考文末连接 

（5）除了JDBC方式支持SQL查询，http方式也是能够的： 

Shell代码  

[search@h1 ~]$ cat sql.sh
## 聚合模式 map_reduce
#curl --data-urlencode 'stmt=SELECT t1, count(*) FROM sql_search GROUP BY t1 ORDER BY count(*) desc LIMIT 10'  http://192.168.1.120:8983/solr/sql_search/sql?aggregationMode=map_reduce
## 聚合模式 facet
curl --data-urlencode 'stmt=SELECT t1, count(*) FROM sql_search GROUP BY t1 ORDER BY count(*) desc LIMIT 10'  http://192.168.1.120:8983/solr/sql_search/sql?aggregationMode=facet
[search@h1 ~]$ sh sql.sh
{"result-set":{"docs":[
{"count(*)":4,"t1":"01"},
{"count(*)":2,"t1":"02"},
{"count(*)":2,"t1":"03"},
{"count(*)":2,"t1":"04"},
{"count(*)":2,"t1":"05"},
{"EOF":true,"RESPONSE_TIME":84}]}}

官网文档： 
https://cwiki.apache.org/confluence/display/solr/Streaming+Expressions 
https://cwiki.apache.org/confluence/display/solr/Parallel+SQL+Interface#ParallelSQLInterface-SQLClientsandDatabaseVisualizationTools 



有什么问题能够扫码关注微信公众号：我是攻城师(woshigcs)，在后台留言咨询。 
技术债不能欠，健康债更不能欠， 求道之路，与君同行。