Django haystack实现全文搜索代码示例


Posted in Python onNovember 28, 2020

一、使用的工具

haystack是django的开源搜索框架,该框架支持Solr,Elasticsearch,Whoosh,*Xapian*搜索引擎,不用更改代码,直接切换引擎,减少代码量。

搜索引擎使用Whoosh,这是一个由纯Python实现的全文搜索引擎,没有二进制文件等,比较小巧,配置比较简单,当然性能自然略低。

中文分词Jieba,由于Whoosh自带的是英文分词,对中文的分词支持不是太好,故用jieba替换whoosh的分词组件。

其他:Python 3.4.4, Django 1.8.3,Debian 4.2.6_3

二、配置说明

现在假设我们的项目叫做Project,有一个myapp的app,简略的目录结构如下。

- Project
- Project
- settings.py
- blog
- models.py

此models.py的内容假设如下:

from django.db import models
from django.contrib.auth.models import User
class Note(models.Model):
  user = models.ForeignKey(User)
  pub_date = models.DateTimeField()
  title = models.CharField(max_length=200)
  body = models.TextField()

  def __str__(self):
    return self.title

1. 首先安装各工具

pipinstall whoosh django-haystack jieba

2. 添加 Haystack 到Django的INSTALLED_APPS

配置Django项目的settings.py里面的INSTALLED_APPS添加Haystack,例子:

INSTALLED_APPS = [ 
    'django.contrib.admin',
    'django.contrib.auth', 
    'django.contrib.contenttypes', 
    'django.contrib.sessions', 
    'django.contrib.sites', 

     # Added. haystack先添加,
     'haystack', 
     # Then your usual apps... 自己的app要写在haystakc后面
     'blog',
]

点我看英文原版

3. 修改 你的settings.py,以配置引擎

本教程使用的是Whoosh,故配置如下:

import os
HAYSTACK_CONNECTIONS = {
  'default': {
    'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
    'PATH': os.path.join(os.path.dirname(__file__), 'whoosh_index'),
  },
}

其中顾名思义,ENGINE为使用的引擎必须要有,如果引擎是Whoosh,则PATH必须要填写,其为Whoosh 索引文件的存放文件夹。

其他引擎的配置见官方文档

4.创建索引

如果你想针对某个app例如mainapp做全文检索,则必须在mainapp的目录下面建立search_indexes.py文件,文件名不能修改。内容如下:

import datetime
from haystack import indexes
from myapp.models import Note

class NoteIndex(indexes.SearchIndex, indexes.Indexable):
  text = indexes.CharField(document=True, use_template=True)
  
  author = indexes.CharField(model_attr='user')
  pub_date = indexes.DateTimeField(model_attr='pub_date')

  def get_model(self):
    return Note

  def index_queryset(self, using=None):
    """Used when the entire index for model is updated."""
    return self.get_model().objects.filter(pub_date__lte=datetime.datetime.now())

每个索引里面必须有且只能有一个字段为document=True,这代表haystack 和搜索引擎将使用此字段的内容作为索引进行检索(primary field)。其他的字段只是附属的属性,方便调用,并不作为检索数据。

注意:如果使用一个字段设置了document=True,则一般约定此字段名为text,这是在SearchIndex类里面一贯的命名,以防止后台混乱,当然名字你也可以随便改,不过不建议改。

并且,haystack提供了use_template=True在text字段,这样就允许我们使用数据模板去建立搜索引擎索引的文件,使用方便(官方推荐,当然还有其他复杂的建立索引文件的方式,目前我还不知道),数据模板的路径为yourapp/templates/search/indexes/yourapp/note_text.txt,例如本例子为blog/templates/search/indexes/blog/note_text.txt文件名必须为要索引的类名_text.txt,其内容为

{{ object.title }}
{{ object.user.get_full_name }}
{{ object.body }}

这个数据模板的作用是对Note.title,Note.user.get_full_name,Note.body这三个字段建立索引,当检索的时候会对这三个字段做全文检索匹配。

5.在URL配置中添加SearchView,并配置模板

在urls.py中配置如下url信息,当然url路由可以随意写。

(r'^search/', include('haystack.urls')),

其实haystack.urls的内容为,

from django.conf.urls import url
from haystack.views import SearchView

urlpatterns = [
  url(r'^$', SearchView(), name='haystack_search'),
]

SearchView()视图函数默认使用的html模板为当前app目录下,路径为myapp/templates/search/search.html
所以需要在blog/templates/search/下添加search.html文件,内容为

{% extends 'base.html' %}

{% block content %}
  <h2>Search</h2>

  <form method="get" action=".">
    <table>
      {{ form.as_table }}
      <tr>
        <td> </td>
        <td>
          <input type="submit" value="Search">
        </td>
      </tr>
    </table>

    {% if query %}
      <h3>Results</h3>

      {% for result in page.object_list %}
        <p>
          <a href="{{ result.object.get_absolute_url }}" rel="external nofollow" >{{ result.object.title }}</a>
        </p>
      {% empty %}
        <p>No results found.</p>
      {% endfor %}

      {% if page.has_previous or page.has_next %}
        <div>
          {% if page.has_previous %}<a href="?q={{ query }}&page={{ page.previous_page_number }}" rel="external nofollow" >{% endif %}« Previous{% if page.has_previous %}</a>{% endif %}
          |
          {% if page.has_next %}<a href="?q={{ query }}&page={{ page.next_page_number }}" rel="external nofollow" >{% endif %}Next »{% if page.has_next %}</a>{% endif %}
        </div>
      {% endif %}
    {% else %}
      {# Show some example queries to run, maybe query syntax, something else? #}
    {% endif %}
  </form>
{% endblock %}

很明显,它自带了分页。

6.最后一步,重建索引文件

使用python manage.py rebuild_index或者使用update_index命令。

好,下面运行项目,进入该url搜索一下试试吧。

三、下面要做的,使用jieba分词第一步

将文件whoosh_backend.py(该文件路径为python路径/lib/python3.4/site-packages/haystack/backends/whoosh_backend.py
)拷贝到app下面,并重命名为whoosh_cn_backend.py,例如blog/whoosh_cn_backend.py。修改如下
添加from jieba.analyse import ChineseAnalyzer
修改为如下

schema_fields[field_class.index_fieldname] =
TEXT(stored=True, analyzer=ChineseAnalyzer(),
field_boost=field_class.boost)

第二步

在settings.py中修改引擎,如下

import os
HAYSTACK_CONNECTIONS = {
  'default': {
    'ENGINE': 'blog.whoosh_cn_backend.WhooshEngine',
    'PATH': os.path.join(BASE_DIR, 'whoosh_index'
  },
}

第三步

重建索引,在进行搜索中文试试吧。

索引自动更新

如果没有索引自动更新,那么每当有新数据添加到数据库,就要手动执行update_index命令是不科学的。自动更新索引的最简单方法在settings.py添加一个信号。

 HAYSTACK_SIGNAL_PROCESSOR =
"haystack.signals.RealtimeSignalProcessor"

官方文档

看了这入门篇,你现在应该大概能配置一个简单的全文搜索了吧,如果想自定义怎么办? 建议阅读官方文档和github的源码。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
详解Python3中yield生成器的用法
Aug 20 Python
python利用matplotlib库绘制饼图的方法示例
Dec 18 Python
Python字符串处理实现单词反转
Jun 14 Python
Python单体模式的几种常见实现方法详解
Jul 28 Python
使用Python实现将list中的每一项的首字母大写
Jun 11 Python
python绘制已知点的坐标的直线实例
Jul 04 Python
python实现最大子序和(分治+动态规划)
Jul 05 Python
Python 中的 import 机制之实现远程导入模块
Oct 29 Python
Python3+selenium配置常见报错解决方案
Aug 28 Python
python日志通过不同的等级打印不同的颜色(示例代码)
Jan 13 Python
python 模拟在天空中放风筝的示例代码
Apr 21 Python
Python如何快速找到多个字典中的公共键(key)
Apr 29 Python
windows下python 3.9 Numpy scipy和matlabplot的安装教程详解
Nov 28 #Python
关于Python 解决Python3.9 pandas.read_excel(‘xxx.xlsx‘)报错的问题
Nov 28 #Python
Python self用法详解
Nov 28 #Python
Python3.9最新版下载与安装图文教程详解(Windows系统为例)
Nov 28 #Python
python安装sklearn模块的方法详解
Nov 28 #Python
Django-silk性能测试工具安装及使用解析
Nov 28 #Python
python 实现学生信息管理系统的示例
Nov 28 #Python
You might like
php 的加密函数 md5,crypt,base64_encode 等使用介绍
2012/04/09 PHP
PHP中set error handler函数用法小结
2015/11/11 PHP
PHP MYSQL实现登陆和模糊查询两大功能
2016/02/05 PHP
php之header的不同用法总结(实例讲解)
2017/11/28 PHP
Thinkphp 框架扩展之应用模式实现方法分析
2020/04/27 PHP
js form 验证函数 当前比较流行的错误提示
2009/06/23 Javascript
Jquery 获取checkbox的checked问题
2011/11/16 Javascript
鼠标选择动态改变网页背景颜色的JS代码
2013/12/10 Javascript
JS动态修改iframe内嵌网页地址的方法
2015/04/01 Javascript
高效利用Angular中内置服务$http、$location等
2016/03/22 Javascript
js中判断变量类型函数typeof的用法总结
2016/08/09 Javascript
AngularJS入门示例之Hello World详解
2017/01/04 Javascript
Angular 4依赖注入学习教程之ValueProvider的使用(七)
2017/06/04 Javascript
jQuery实现获取form表单内容及绑定数据到form表单操作分析
2018/07/03 jQuery
vue.js 中使用(...)运算符报错的解决方法
2018/08/09 Javascript
vscode 开发Vue项目的方法步骤
2018/11/25 Javascript
JS插件amCharts实现绘制柱形图默认显示数值功能示例
2019/11/26 Javascript
Jquery ajax书写方法代码实例解析
2020/06/12 jQuery
跟老齐学Python之Python文档
2014/10/10 Python
用Python实现一个简单的线程池
2015/04/07 Python
python 读取文本文件的行数据,文件.splitlines()的方法
2018/07/12 Python
python后端接收前端回传的文件方法
2019/01/02 Python
Python关于excel和shp的使用在matplotlib
2019/01/03 Python
python 梯度法求解函数极值的实例
2019/07/10 Python
pycharm设置当前工作目录的操作(working directory)
2020/02/14 Python
python中sklearn的pipeline模块实例详解
2020/05/21 Python
Tensorflow卷积实现原理+手写python代码实现卷积教程
2020/05/22 Python
Pycharm插件(Grep Console)自定义规则输出颜色日志的方法
2020/05/27 Python
让你相见恨晚的十个Python骚操作
2020/11/18 Python
html5 Canvas绘制线条 closePath()实例代码
2012/05/10 HTML / CSS
应聘教师自荐信
2013/10/12 职场文书
大学旷课检讨书
2014/01/28 职场文书
公司授权委托书范本
2014/09/18 职场文书
建筑工程挂靠协议书
2016/03/23 职场文书
win10下go mod配置方式
2021/04/25 Golang
Spring Boot接口定义和全局异常统一处理
2022/04/20 Java/Android