Django笔记（五）搜索 django-haystack + solr中文分词配置

2023年9月5日 208次阅读 来源: 今夕何夕_walker

haystack

haystack 2.5 暂时支持到solr 4.10 （记笔记当时情况）

solr 4.10 安装

环境为ubuntu14.04（和centos安装软件命令以及配置文件路径稍微有点差异）

  1. 依赖安装
pip install pysolr
# 7,8都可以，oracle java 也可以
sudo apt-get install openjdk-8-jre 
sudo apt-get install tomcat7 tomcat7-admin
  1. 去官方下载历史包 http://archive.apache.org/dist/lucene/solr/4.10.4/solr-4.10.4.tgz
  2. 安装solr
路径随意 ，一般opt或者usr/share
sudo mkdir /opt/solr-tomcat
#拷贝根目录 也可以copy multicore文件夹作为根目录
sudo cp solr-4.10.4/example/solr /opt/solr-tomcat/solr
# 把solr.war文件复制到tomcat安装路径的webapps下,运行tomcat会自动解压这个war文件，没有的话，改成zip，手动解压
sudo cp solr-4.10.4/example/webapps/solr.war /usr/share/tomcat7/webapps
  1. 绑定tomcat webapps
    在tomcat的默认配置文件夹下建立Catalina/localhost文件夹，并创建solr.xml,ubuntu14.4默认配置在/etc/tomcat
    solr.xml
<Context docBase="/usr/share/tomcat7/webapps/solr" debug="0" crossContext="true" >
<Environment name="solr/home" type="java.lang.String" value="/opt/solr-tomcat/multicore" override="true" />
</Context>
  1. 修改webapps/solr/WEB-INF/web.xml,取消注释，并且设置home目录
    <env-entry>
       <env-entry-name>solr/home</env-entry-name>
       <env-entry-value>/opt/solr-tomacat/multicore</env-entry-value>
       <env-entry-type>java.lang.String</env-entry-type>
    </env-entry>

  1. 将example/lib/ext下所有的jar拷贝到/usr/share/tomcat7/solr/WEB-INF/lib/

  2. 修改文件夹权限
    sudo chown -R tomcat7 /opt/solr-tomcat/multicore

  3. 启动solr sudo service tomcat7 restart ,http://ip:8080/solr 访问

  4. 增加core

  1. 直接拷贝example/solr/collection1到multicore目录，并修改权限
  2. 编辑solr.xml 添加一个core的选项
    <core name="core2" instanceDir="core2" />
    3.重启tomcat
  1. 优化

提高jvm内存限制 编辑/etc/default/tomcat7 -Xmx128m to -Xms512m -Xmx1024m

solr管理后台增加密码验证(密码设置成功后居然haystack就获取不到数据了，改用通过ip限制)

http://blog.csdn.net/ye_qing/article/details/40457237 （solr教程）

  1. 配置tomcat,修改TOMCAT_HOME\conf\tomcat-users.xml文件，添加用户和角色
<tomcat-users>
  <role rolename="solr"/><!-- 添加的角色名-->
  <user username="admin" password="admin" roles="solr"/><!--添加的用户-->
</tomcat-users>
<pre class="html" name="code"><!--
    role属性说明：
        rolename:role 角色的名字 
    user属性说明：
        username:user用户名 
        password:user的密码roles: 
        user所属角色 如果用户有多个角色 各角色直接用“，”分隔。如roles="role1,role2"
-->
  1. 配置solr, 修改TOMCAT_HOME\webapps\ROOT\WEB-INF\web.xml(不一定有)和TOMCAT_HOME\webapps\solr\WEB-INF\web.xml
  <security-constraint>  
    <web-resource-collection>  
        <web-resource-name>Solr Lockdown</web-resource-name> <!--描述--> 
        <url-pattern>/</url-pattern>               <!-- 验证的网页的位置-->  
         </web-resource-collection>  
         <auth-constraint>  
            <role-name>solr</role-name>   <!-- 验证的角色，别写成用户名，如有多个角色可以写多个role-name 标签-->  
         </auth-constraint>  
  </security-constraint>  
  <login-config>  
        <auth-method>BASIC</auth-method>            <!-- 关键-->  
        <realm-name>Solr</realm-name>  
 </login-config>

solr指定ip访问 /etc/tomcat7/server.xml

<Valve className="org.apache.catalina.valves.RemoteAddrValve" allow="192.168.58.150||localhost||127.0.0.1"/>
<!-- <Valve className="org.apache.catalina.valves.RemoteAddrValve" deny="192.168.58.150"/> -->
# 添加以上任意一行，注释掉以下一行
<Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
               prefix="localhost_access_log." suffix=".txt"
               pattern="%h %l %u %t "%r" %s %b" />

中文分词

IK

  1. 下载分发包：https://code.google.com/archive/p/ik-analyzer/downloads (PS：u1分发包可能有问题 未测试最后的版本，使用链接：http://pan.baidu.com/s/1i4qs1Yt 密码：ix1r 正常，)
  2. 拷贝 IKAnalyzer2012FF_u1.jar 到webapps/solr/WEB-INF/lib目录，IKAnalyzer.cfg.xml和stopword.dic到webapps/solr/WEB-INF/classes（无则新建)目录。
    修改core的schema.xml,添加分词方法
<!-- IKAnalyzer 中文分词 -->
<fieldType name="text_ik" class="solr.TextField"
    positionIncrementGap="100">
    <analyzer type="index">
        <tokenizer class="org.wltea.analyzer.lucene.IKAnalyzerSolrFactory" isMaxWordLength="false" />
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopword.dic" enablePositionIncrements="true" />
        <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true" />
        <filter class="solr.LowerCaseFilterFactory" />
        <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0"  splitOnCaseChange="1"/>   
    </analyzer>
    <analyzer type="query">
        <tokenizer class="org.wltea.analyzer.lucene.IKAnalyzerSolrFactory" isMaxWordLength="true" />
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopword.dic" enablePositionIncrements="true" />
        <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true" />
        <filter class="solr.LowerCaseFilterFactory" />
        <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0"  splitOnCaseChange="1"/>   
    </analyzer>
</fieldType>
<!-- 引用智能分词 -->
<fieldType name="smart_ik" class="solr.TextField">
    <analyzer >
        <tokenizer class="org.wltea.analyzer.lucene.IKAnalyzerSolrFactory" isMaxWordLength="true" /><!-- 智能分词 -->
    </analyzer>
</fieldType>
<!-- 引用最细粒 -->
<fieldType name="tiny_ik" class="solr.TextField">
    <analyzer >
        <tokenizer class="org.wltea.analyzer.lucene.IKAnalyzerSolrFactory" isMaxWordLength="false" /><!-- 最细粒分词 -->
    </analyzer>
</fieldType>

参考和来源

安装参考

分词参考

IK

mmseg4j

Haystack more like this

solr
需要添加<requestHandler name="/mlt" class="solr.MoreLikeThisHandler" />到solrconfig.xml文件，路径在core下

slor 配置

fl: 文档结果中应返回的FIeld集，默认为“*”
df: 默认的查询字段，一般默认指定。
qf: query fields,指定solr从哪些field搜索
fq: filter query,过滤
mm: minimal should match。Solr支持三种查询clause，即“必须出现”， “不能出现”和“可以出现”，分别对应于AND, -, OR。
mlt.fl mlt使用的字段

haystack要索引和mlt的字段好像都只能通过txt模板定义，其他字段好像是用来筛选的（未确定）

要索引的字段数据库存储必须是各种text格式
mlt必须加上termVectors=”true”

    原文作者：今夕何夕_walker
    原文地址: https://www.jianshu.com/p/924511a3e477
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞