sphinx中文版Coreseek中文检索引擎安装和使用方法(Linux)

sphinx中文版Coreseek中文检索引擎安装和使用方法(Linux)

    众所周知，在MYSQL数据库中，若是你在百万级别数据库中使用 like 的话那你必定在那骂娘，coreseek是一个针对于中文检索方案的一种全文检索技术，基于sphinx开发的。可是在coreseek中不但支持了mysql数据源，还支持了python、xml、mssql、odbc。并且提供了不少语言PHP、C#、JAVA、python等丰富API接口。在中文全文搜索引擎中，基本没有什么能有coreseek匹敌的（是我太深刻了嘛-^-），在千万条数据测试下，coreseek生成索引后全文检索的时间不会超过0.5s，这个速度是很是可观的。

1. 安装必要的编译工做支持

　　安装coreseek以前须要安装这些工具，固然使用yum安装你的机子须要先保证已经联网

yum install make gcc g++ gcc-c++ libtool autoconf automake imake mysql-devel libxml2-devel expat-devel

2. 下载coreseek和编译安装

$ wget http://www.coreseek.cn/uploads/csft/3.2/coreseek-3.2.14.tar.gz
$ tar xzvf coreseek-3.2.14.tar.gz
$ cd coreseek-3.2.14

##安装mmseg中文分词
$ cd mmseg-3.2.14
$ ./bootstrap    #输出的warning信息能够忽略，若是出现error则须要解决
$ ./configure --prefix=/usr/local/mmseg3
$ make && make install
$ cd ..

##安装coreseek
$ cd csft-3.2.14
$ sh buildconf.sh    #输出的warning信息能够忽略，若是出现error则须要解决
$ ./configure --prefix=/usr/local/coreseek  --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql    ##若是提示mysql问题，能够查看MySQL数据源安装说明，注意--prifix后面的路径要和本身安装的路径一致
$ make && make install
$ cd ..

3. 配置MYSQL数据源

cp /usr/local/coreseek/etc/sphinx.conf.dist /usr/local/coreseek/etc/sphinx.conf
vi /usr/local/coreseek/etc/sphinx.conf

          建立一个统计表

 

     sphinx.conf配置以下：

 

source news
{
    type          = mysql
    sql_host      = localhost
    sql_user      = root
    sql_pass      =123456
    sql_db        = test
    sql_port      =3306
    sql_sock      =/tmp/mysql.sock
    sql_query_pre = SET NAMES utf8
    sql_query_pre = REPLACE INTO sph_counter SELECT 1, MAX(id) FROM news
    sql_query     = SELECT id, contents, intro, title FROM news WHERE id<=( SELECT max_doc_id FROM sph_counter WHERE counter_id=1)
}
#设置增量索引，数据量较小时，也能够不设置而定时从新生成索引
source increment : news
{
    sql_query_pre = SET NAMES utf8
    sql_query     = SELECT id, contents, intro, title FROM news WHERE id >( SELECT max_doc_id FROM sph_counter WHERE counter_id=1)
    #这是增量索引的数据源sql。和上面保持一致，惟一的变化，就是where条件以后，这里查询的是大于上次从新生成索引的id，即：刚刚添加的数据
}
 
index news
{
    source           = news
    path             =/usr/local/coreseek/var/data/news
 
    docinfo          =extern
    mlock            =0
    morphology       = none
    charset_dictpath =/usr/local/mmseg3/etc/
    charset_type     = zh_cn.utf-8
}
 
index increment : news
{
    source           = increment
    path             =/usr/local/coreseek/var/data/increment
    charset_dictpath =/usr/local/mmseg3/etc/
    charset_type     = zh_cn.utf-8
}
 
indexer
{
 
    mem_limit    =128M
}
searchd
{
    log               =/usr/local/coreseek/var/log/searchd.log
    read_timeout      =5
    client_timeout    =300
    max_children      =30
    pid_file          =/usr/local/coreseek/var/log/searchd.pid
    max_matches       =1000
    seamless_rotate   =1
    preopen_indexes   =0
    unlink_old        =1
    mva_updates_pool  =1M
    max_packet_size   =8M
    max_filter_values =4096
}

　　

 

说明：若是想配置多个数据源，在配置文件中添加source和index便可，能够像增量那样添加，但不须要后面的 : news，就能够了，须要注意的是在sph_counter便可以数据统计表中，须要使用不一样的id来区分不一样的数据表

4.生成索引命令

生成索引 

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx.conf --all --rotate

        说明：这时sph_counter 表里会增长一条记录。存放的就是你内容表中的最大id。若是想要生成单个数据源的索引， /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx.conf news --rotate（这条命令只生成news的索引）

开启后台进程     

/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/sphinx.conf

        说明：这时候对Mysql数据源进行搜索的话其实已是有数据的。

增量索引

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx.conf increment --rotate

 

        说明：这里增量索引的名称要换成本身对应的增量索引的名称

合并索引  

 

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx.conf --merge news increment --rotate

 

        说明：合并索引后，news索引此时能够检索到全部的数据，可是sph_counter表中最大id是没有变的，所以还须要在必定的时间内再次从新生成全部的索引

 

为了保持数据的完整性，从新生成索引

  /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx.conf --all --rotate

5.执行定时任务，更新增量索引、从新生成索引

*/1****/bin/sh    /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx.conf increment --rotate
*/5****/bin/sh    /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx.conf --merge news increment --rotate
301***  /bin/sh  /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx.conf --all --rotate

        说明： 以上任务计划的意思是：每隔一分钟执行一遍增量索引，每五分钟执行一遍合并索引，天天1:30执行总体索引。

6.php操做coreseek

        复制api/sphinxapi.php文件到你的项目

        require ( "sphinxapi.php" );

        //这里是直接把api复制到项目的目录中进行使用，也能够安装php的sphinx扩展进行使用，如下会详细介绍php7.0安装sphinx扩展

 

6.php安装sphinx扩展

[第一步] 安装依赖libsphinxclient

#cd /usr/local/coreseek-3.2.14/csft-3.2.14/api/libsphinxclient
#./configure  --prefix=/usr/local/sphinxclient
#configure: creating ./config.status   
#config.status: creating Makefile   
#config.status: error: cannot find input file:Makefile.in   #报错configure失败       
 
//处理configure报错   
编译过程当中报了一个config.status: error: cannot find input file: src/Makefile.in这个的错误，而后运行下列指令再次编译就能经过了：   
# aclocal   
# libtoolize --force   
# automake --add-missing   
# autoconf   
# autoheader   
# make clean   
 
//重新configure编译   
# ./configure   
# make && make install

[第二步] 安装sphinx的PHP扩展
# wget http://git.php.net/?p=pecl/search_engine/sphinx.git;a=snapshot;h=9a3d08c67af0cad216aa0d38d39be71362667738;sf=tgz
# tar zxvf sphinx-9a3d08c.tar.gz
# cd sphinx-9a3d08c
# /usr/local/php/bin/phpize
# ./configure --with-php-config=/usr/local/php/bin/php-config --with-sphinx=/usr/local/sphinxclient
# make && make install

 

说明：这里注意php-config的路径要和本身服务器上的路径一致才行，使用php -m 查看模块是否已经安装上，若是里面有sphinx模块，证安装成功，修改php.ini便可成功。这里若是是php7必定要安装php7可用的扩展。

 

安装完成后修改php.ini，在末尾添加以下内容

 

extension = sphinx.so

        说明：查看phpinfo();查看扩展是否安装成功

而后重启php-fpm便可，执行php -m，看到有sphinx扩展说明安装

/etc/init.d/php-fpm restart