Django集成搜索引擎Elasticserach的方法示例


Posted in Python onJune 04, 2019

1.背景

当用户在搜索框输入关键字后,我们要为用户提供相关的搜索结果。可以选择使用模糊查询 like 关键字实现,但是 like 关键字的效率极低。查询需要在多个字段中进行,使用 like 关键字也不方便,另外分词的效果也不理想。

全文检索方案

  • 全文检索即在指定的任意字段中进行检索查询。
  • 全文检索方案需要配合搜索引擎来实现。

搜索引擎原理

  • 搜索引擎 进行全文检索时,会对数据库中的数据进行一遍预处理,单独建立起一份 索引结构数据 。
  • 索引结构数据 类似字典的索引检索页 ,里面包含了关键词与词条的对应关系,并记录词条的位置。
  • 搜索引擎进行全文检索时,将 关键字在索引数据中进行快速对比查找,进而找到数据的真实存储位置 。

2.Elasticsearch介绍

实现全文检索的搜索引擎,首选的是 Elasticsearch 。

  • Elasticsearch 是用 Java 实现的,开源的搜索引擎。
  • 它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github等都采用它。
  • Elasticsearch 的底层是开源库Lucene。但是,没法直接使用 Lucene,必须自己写代码去调用它的接口。

分词说明

搜索引擎在对数据构建索引时,需要进行分词处理。

分词是指将一句话拆解成 多个单字 或 词 ,这些字或词便是这句话的关键词。

Elasticsearch 不支持对中文进行分词建立索引,需要配合扩展 elasticsearch-analysis-ik 来实现中文分词处理。

3.集成Elasticsearch

3.1. Haystack介绍和安装配置

  • Haystack 是在Django中对接搜索引擎的框架,搭建了用户和搜索引擎之间的沟通桥梁。
    • 我们在Django中可以通过使用 Haystack 来调用 Elasticsearch 搜索引擎。
  • Haystack 可以在不修改代码的情况下使用不同的搜索后端(比如 Elasticsearch 、 Whoosh 、 Solr 等等)。

Haystack安装

$ pip install django-haystack
$ pip install elasticsearch==2.4.1

Haystack注册应用和路由

在 django 的配置文件中注册。

INSTALLED_APPS = [ 'haystack', # 全文检索注册]​

在总路由中新建 haystack 的路由。

urlpatterns = [url(r'^search/', include('haystack.urls')),]

Haystack配置

在配置文件中配置Haystack为搜索引擎后端

# Haystack
HAYSTACK_CONNECTIONS = {
 'default': {
  'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',
  'URL': 'http://192.168.103.158:9200/', # Elasticsearch服务器ip地址,端口号固定为9200
  'INDEX_NAME': 'serach_mall', # Elasticsearch建立的索引库的名称
 },
}

# 当添加、修改、删除数据时,自动生成索引
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'
# 搜索的每页大小
HAYSTACK_SEARCH_RESULTS_PER_PAGE = 3

HAYSTACK_SIGNAL_PROCESSOR 配置项保证了在Django运行起来后,有新的数据产生时,Haystack仍然可以让Elasticsearch实时生成新数据的索引。

3.2 Haystack建立数据索引

1.创建索引类

通过创建索引类,来指明让搜索引擎对哪些字段建立索引,也就是可以通过哪些字段的关键字来检索数据。

本项目中对模型类SKU信息进行全文检索,所以在 该模型类的应用(goods)中 新建 search_indexes.py 文件,用于存放索引类。索引类必须继承 haystack.indexes.SearchIndex 与 haystack.indexes.Indexable .

from haystack import indexes

from .models import SKU


class SKUIndex(indexes.SearchIndex, indexes.Indexable):
 """SKU索引数据模型类"""
 text = indexes.CharField(document=True, use_template=True)

 def get_model(self):
  """返回建立索引的模型类"""
  return SKU

 def index_queryset(self, using=None):
  """返回要建立索引的数据查询集"""
  return self.get_model().objects.filter(is_launched=True)

索引类 SKUIndex 说明:

  • 在 SKUIndex 建立的字段,都可以借助 Haystack 由 Elasticsearch 搜索引擎查询。
  • 其中 text 字段我们声明为 document=True ,表名该字段是主要进行关键字查询的字段。
  • text 字段的索引值可以由多个数据库模型类字段组成,具体由哪些模型类字段组成,我们用 use_template=True 表示后续通过模板来指明。

2.创建text字段索引值模板文件

在项目 templates 目录中创建 text字段 使用的模板文件

具体在 templates/search/indexes/goods/sku_text.txt 文件中定义,其中 goods 为应用名, sku_text.txt 中的 sku 为模型类小写。

{{ object.id }}
{{ object.name }}
{{ object.caption }}

模板文件说明:当将关键词通过text参数名传递时

此模板指明SKU的 id 、 name 、 caption 作为 text 字段的索引值来进行关键字索引查询。

3.手动生成初始索引

$ python manage.py rebuild_index

第一次需要生成索引需要执行上述命令,后续会自动生成索引。

3.3 全文检索测试

准备测试表单

  • 请求方法: GET
  • 请求地址: /search/
  • 请求参数: q
<div class="search_wrap fl">
 <form method="get" action="/search/" class="search_con">
  <input type="text" class="input_text fl" name="q" placeholder="搜索商品">
  <input type="submit" class="input_btn fr" name="" value="搜索">
 </form>
 ...
 ...
</div>

然后在 templates/search/ 目录下新建 search.html 接收和渲染全文检索的结果 .

3.4 渲染搜索结果

Haystack返回的数据包括:

  • query :搜索关键字
  • paginator :分页paginator对象
  • page :当前页的page对象(遍历 page 中的对象,可以得到 result 对象)
  • result.objects : 当前遍历出来的SKU对象。
<div class="main_wrap clearfix">
 <div class=" clearfix">
  <ul class="goods_type_list clearfix">
   {% for result in page %}
   <li>
    {# object取得才是sku对象 #}
    <a href="/detail/{{ result.object.id }}/" rel="external nofollow" rel="external nofollow" ><img src="{{ result.object.default_image.url }}"></a>    
    <h4><a href="/detail/{{ result.object.id }}/" rel="external nofollow" rel="external nofollow" >{{ result.object.name }}</a></h4>
    <div class="operate">
     <span class="price">¥{{ result.object.price }}</span>
     <span>{{ result.object.comments }}评价</span>
    </div>
   </li>
   {% else %}
    <p>没有找到您要查询的商品。</p>
   {% endfor %}
  </ul>
  <div class="pagenation">
   <div id="pagination" class="page"></div>
  </div>
 </div>
</div>

这里Elasticsearch替我们把django中的视图函数写了。

搜索页分页器

<div class="main_wrap clearfix">
 <div class=" clearfix">
  ......
  <div class="pagenation">
   <div id="pagination" class="page"></div>
  </div>
 </div>
</div>

<script type="text/javascript">
 $(function () {
  $('#pagination').pagination({
   currentPage: {{ page.number }},
   totalPage: {{ paginator.num_pages }},
   callback:function (current) {
    window.location.href = '/search/?q={{ query }}&page=' + current;
   }
  })
 });
</script>

这里使用的 jquery.pagination.js 接收要渲染的数据,当然也可以使用其他框架的分页器或自定义的来接收。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
用Python实现协同过滤的教程
Apr 08 Python
Python遍历指定文件及文件夹的方法
May 09 Python
Python开发的HTTP库requests详解
Aug 29 Python
python3 图片referer防盗链的实现方法
Mar 12 Python
Python中利用xpath解析HTML的方法
May 14 Python
Python3多线程操作简单示例
May 22 Python
朴素贝叶斯分类算法原理与Python实现与使用方法案例
Jun 26 Python
Python 输入一个数字判断成绩分数等级的方法
Nov 15 Python
python3.7将代码打包成exe程序并添加图标的方法
Oct 11 Python
Tensorflow中的图(tf.Graph)和会话(tf.Session)的实现
Apr 22 Python
python如何安装下载后的模块
Jul 03 Python
Windows环境下Python3.6.8 importError: DLLload failed:找不到指定的模块
Nov 01 Python
python添加菜单图文讲解
Jun 04 #Python
Python3.6+Django2.0以上 xadmin站点的配置和使用教程图解
Jun 04 #Python
Python自动化之数据驱动让你的脚本简洁10倍【推荐】
Jun 04 #Python
pandas DataFrame索引行列的实现
Jun 04 #Python
深入浅析Python中的迭代器
Jun 04 #Python
Python学习笔记之读取文件、OS模块、异常处理、with as语法示例
Jun 04 #Python
Python利用sqlacodegen自动生成ORM实体类示例
Jun 04 #Python
You might like
php开启安全模式后禁用的函数集合
2011/06/26 PHP
php读取flash文件高宽帧数背景颜色的方法
2015/01/06 PHP
用Javascript同时提交多个Web表单的方法
2009/12/26 Javascript
简单的前端js+ajax 购物车框架(入门篇)
2011/10/29 Javascript
jQuery实现图片预加载效果
2015/11/27 Javascript
AngularJs Forms详解及简单示例
2016/09/01 Javascript
Ajax实现不刷新取最新商品
2017/03/01 Javascript
jQuery插件HighCharts实现的2D对数饼图效果示例【附demo源码下载】
2017/03/09 Javascript
js实现一键复制功能
2017/03/16 Javascript
jQuery自动或手动图片切换效果
2017/10/11 jQuery
小程序实现新用户判断并跳转激活的方法
2019/05/20 Javascript
JS实现普通轮播图特效
2020/01/01 Javascript
vue 实现超长文本截取,悬浮框提示
2020/07/29 Javascript
Ant Design Vue table中列超长显示...并加提示语的实例
2020/10/31 Javascript
[02:01]2018完美盛典-开场舞《双子星》
2018/12/16 DOTA
Python中的类学习笔记
2014/09/23 Python
Python的Tornado框架异步编程入门实例
2015/04/24 Python
Python 的描述符 descriptor详解
2016/02/27 Python
Python错误提示:[Errno 24] Too many open files的分析与解决
2017/02/16 Python
Python线性回归实战分析
2018/02/01 Python
Python用于学习重要算法的模块pygorithm实例浅析
2018/08/16 Python
让Python脚本暂停执行的几种方法(小结)
2019/07/11 Python
详解如何用python实现一个简单下载器的服务端和客户端
2019/10/28 Python
德国最大的设计师鞋网上商店:Budapester
2017/12/07 全球购物
CNC数控操作工岗位职责
2013/11/19 职场文书
志愿者活动总结范文
2014/04/26 职场文书
水电维修专业推荐信
2014/09/06 职场文书
四风问题个人对照检查剖析材料
2014/09/27 职场文书
党建工作整改措施
2014/10/28 职场文书
2014群众路线学习笔记
2014/11/06 职场文书
三方合作意向书范本
2015/05/09 职场文书
驻村工作简报
2015/07/20 职场文书
2015年教师节广播稿
2015/08/19 职场文书
读《解忧杂货店》有感:请相信一切都是最好的安排
2019/11/07 职场文书
分享CSS盒子模型隐藏的几种方式
2022/02/28 HTML / CSS
python数字图像处理实现图像的形变与缩放
2022/06/28 Python