最近一个项目需要实现这样一个需求:mysql数据库一张表中存了百万张菜品图片,需要根据菜品名称或描述,模糊匹配出符合条件的菜品图片,并展示出来

select * from table_name where column like '%鱼香肉丝%';

  如果像上面那样,直接使用mysql like查询的话,会进行全表扫描,不走索引,大大的影响查询效率,所以开始学习使用Sphinx全文搜索引擎,下面记录下第一次配置使用的过程,以及过程中遇到的问题和疑问,望指正.

1. 下载sphinx源码压缩包点击下载

按照自己的需求,下载对应的版本,我这里下载的是Windows x64 binaries 3.1.1 版本

2. 下载后的sphinx源码目录

sphinx源码目录结构

3.配置文件

打开etc目录,里面有三个文件,example,sql是创建测试表的脚本,我们稍后会用到,sphinx.conf.dist是完整版默认配置,这里我选择了sphinx-min.conf.dist简化版,暂时可以满足需求,复制一份到bin目录下,并且重命名为sphinx.conf.

etc目录

4. sphinx.config文件配置

配置文件的几个组成部分:

• source 数据源,这里配置你要进行全文检索的数据的来源
• index 索引,从上面的数据源处构建索引,相当于字典检索,要有整本字典内容后才会有索引
• indexer 构建索引,需要重新构建索引时,其实就是调用indexer这个命令
• searchd 提供搜索查询的服务,后台运行

source src1 ## src1为数据源命名的名称,可以根据数据源的属性更改
{
    type            = mysql ## 数据源,本项目使用mysql
    sql_host        = localhost ## 数据库服务器,这里因为是测试,使用的是本地数据库
    sql_user        = root # 数据库用户名
    sql_pass        = root # 数据库密码
    sql_db          = hongbao ## 数据库名称,替换成你自己的数据库名称
    sql_port        = 3306 ## 数据库端口,默认3306
    sql_query_pre   = SET NAMES utf8 ## 如果你的数据库不是uft8编码的,注释掉本行
    sql_query       = \ ## 主查询,查询出所有在检索范围的数据
        SELECT id, group_id, UNIX_TIMESTAMP(date_added) AS date_added, title, content \
        FROM documents
    sql_attr_uint       = group_id ## 属性
    sql_attr_timestamp  = date_added ## 属性,可用来排序
}

index test1 ## 索引名称,自行命名
{
    source          = src1 ## 基于这个数据源构建索引
    path            = D:/sphinx/data/ ## 存放索引的目录,自己创建
    charset_table = 0..9, A..Z->a..z, _, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F  ##  指定utf-8的编码表
    mlock           = 0
    morphology      = none ## 词形处理器,如果检索中文用不到,dogs<==>dog
    min_word_len        = 1 ## 最小索引词长度,小于这个长度的词不会被索引
    ngram_len       = 1 ## 简单分词,只支持0和1,如果要搜索中文,请指定为1
    ngram_chars     = U+3000..U+2FA1F ## 需要分词的字符,如果要搜索中文,请放开这行
    html_strip      = 0 ## html标记清理,是否从输出全文数据中去除HTML标记
}

indexer
{
    # memory limit, in bytes, kiloytes (16384K) or megabytes (256M)
    # optional, default is 128M, max is 2047M, recommended is 256M to 1024M
    mem_limit       = 128M ## 建立索引的时候,索引内存限制
}

searchd
{
    listen          = 9312 ## 监听端口
    listen          = 9306:mysql41

    log         = D:/sphinx/log/searchd.log ## 监听日志
    query_log       = D:/sphinx/log/query.log ## 查询日志
    pid_file        = D:/sphinx/log/searchd.pid ## ## 进程id文件
    read_timeout        = 5 ## 客户端读超时时间
    client_timeout      = 300 ## 客户端持久连接超时时间,即客户端读一次以后,持久连接,然后再读一次,中间这个持久连接的时间
    max_children        = 30 ## 并行执行搜索的数目
    persistent_connections_limit    = 30
    preopen_indexes     = 1 ## 索引预开启，是否强制重新打开所有索引文件
    unlink_old      = 1 ## 索引轮换成功之后，是否删除以.old为扩展名的索引拷贝
    max_packet_size     = 8M ## 网络通讯时允许的最大的包的大小
    max_filters     = 256 ## 每次查询允许设置的过滤器的最大个数
    max_filter_values   = 4096 ## 单个过滤器允许的值的最大个数
    max_batch_queries   = 32 ## 每次批量查询的查询数限制
    workers         = threads # for RT to work     多处理模式（MPM）。 可选项；可用值为none、fork、prefork，以及threads。 默认在Unix类系统为form，Windows系统为threads。

}

注:配置文件更改完成之后,回到根目录新建配置文件中使用到的data和log两个目录

导入源码里提供的示例数据,执行etc目录下的example.sql脚本:

导入测试数据

或者使用mysql图形处理界面工具:

导入测试数据.png

5. 根据sphinx.conf创建索引

## 构建索引语法:
indexer -c 配置文件 索引名字

• 打开windows 命令提示行工具,进入到sphinx/bin目录下

根据sphinx.conf创建索引

• 启动sphinx检索服务,后台常驻

启动

• 查看索引创建情况
  重新打开一个命令行窗口,

索引建立情况

6. Sphinxapi.php使用(或者安装php扩展)

sphinx提供了各种语言的代码,php使用sphinx,只需要引入sphinxapi.php,打开根目录下的api目录,将sphinxapi.php文件复制到你的项目目录下,方便调用

<?php
/**
 * Demo.php
 * Create on 2018/8/29 10:42
 * Create by liu
 * Administrator
 */

class Demo extends CI_Controller
{
    private $sphinx;
    public function __construct()
    {
        parent::__construct();
        require_once APPPATH . 'libraries/Sphinxapi.php';
        $this->sphinx = new SphinxClient();
    }

    public function sphinx()
    {
        //设置操作哪个sphinx服务器
        $this->sphinx->setServer('localhost',9312);
        $keyword = "银行";//要搜索的关键字
        $index = 'bank';//索引名称
        //查询出关键字所在的主键id
        $this->sphinx->_limit = 2000;
        $res = $this->sphinx->Query($keyword,$index);
        echo '<pre>';

        if (isset($res['matches'])){
            $ids = array_keys($res['matches']);
            $ids = implode(',',$ids);
        }else{
            print_r("内容不存在");
            return;
        }
        //获取匹配到的主键id
        $mysql_con = mysqli_connect('localhost','root','','hongbao');//本地数据库
        mysqli_query($mysql_con,'set name utf8');
        mysqli_query($mysql_con,'use hongbao');
        $sql = "select * from bank where id in ($ids)";
        
        $res = mysqli_query($mysql_con,$sql);

        while ($row = mysqli_fetch_assoc($res)){
            $data[] = $row;
        }
        foreach ($data as $key => $v){

            $v = str_replace($keyword,"<font color='red'>{$keyword}</font>",$v);
            $data[$key] = $v;
        }
        print_r($data);

    }

}

代码运行结果

代码运行结果