Python实现中英文全文搜索的示例


Posted in Python onDecember 04, 2020

文章版权所有:州的先生博客

原文地址:https://zmister.com/archives/1596.html

在互联网上的各类网站中,无论大小,基本上都会有一个搜索框,用来给用户对内容进行搜索,小到站点搜索,大到搜索引擎搜索。

从简单的来说,搜索功能确实很简单,一个简单的 select 语句就可以实现数据的搜索。

而从复杂的来看,无论是搜索的精度还是搜索的效率,都是有很深的研究范围的。

对于简单的搜索功能来说,一个 select 查询语句也足够使用,但在稍微复杂一点的搜索环境下,比如网页、文档、新闻资讯等场景,单纯的 select 查询语句则是远远不够。在这些场景下的搜索,全文搜索则是最低配置。

什么是全文搜索?百度百科如是说:

全文数据库是全文检索系统的主要构成部分。所谓全文数据库是将一个完整的信息源的全部内容转化为计算机可以识别、处理的信息单元而形成的数据集合。全文数据库不仅存储了信息,而且还有对全文数据进行词、字、段落等更深层次的编辑、加工的功能,而且所有全文数据库无一不是海量信息数据库。

是不是看得不明不白的?讲一个简单的例子大概就理解了。正常情况下,我们搜索“Python 安装教程”,如果是普通的搜索,会直接使用 select 数据库中包含“Python 安装教程”的内容。但是全文搜索,会首先将搜索词拆分成:“Python 安装教程”、“Python”、“安装教程”、“安装”、“教程”等,然后用这些拆分后的词组进行搜索。

市面上所有的搜索引擎都使用了全文搜索:

Python实现中英文全文搜索的示例

最近“MrDoc 交流群”里让觅道文档添加上全文搜索的呼声很高,遂打算在觅道文档中把常规的 select 查询搜索替换为全文搜索。

最常见的开源全文搜索引擎是 Elasticsearch,功能强大、性能强悍,但是其基于 Java 进行编写,在 Python 中使用不是很方便,最终州的先生选择了纯 Python 实现的全文搜索引擎——whoosh,并借助 Django 下的开源搜索框架——haystack,依靠 jieba 中文分词库,在觅道文档这一典型 Python Web 应用中实现了中英文的全文搜索。

Python实现中英文全文搜索的示例

安装依赖库

如上述所言,本次纯 Python 方案实现中英文全文搜索使用到了如下 3 个库:

  • whoosh
  • haystack
  • jieba

需要对其进行安装,使用 pip 命令进行安装即可:

pip install whoosh
pip install django-haystack
pip install jieba

settings 配置

首先需要在 Django 项目的 settings.py 文件中进行配置。

第一、在 INSTALLED_APPS 中添加 haystack 库:

Python实现中英文全文搜索的示例

第二、添加配置 haystack 的配置项

Python实现中英文全文搜索的示例

# 当添加、修改、删除数据时,自动生成索引
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'
# 自定义高亮
HAYSTACK_CUSTOM_HIGHLIGHTER = "app_doc.search.highlight.MyHighLighter"

创建索引

在 app_doc 目录下新建一个名为 search_indexes.py 的文件,在其中输入如下内容:

Python实现中英文全文搜索的示例

在 template 目录下新建一色名为 search 的目录,然后在 search 目录下新建一个名为 indexes 的目录,接着在其中新建一个名为 app_doc 的目录(与 Django 应用同名),最后在这个/template/search/app_doc 目录下新建一个名称 doc_text.txt 的文件(模型名称_text.txt),在其中输入需要索引的模型字段:

{{object.name}}
{{object.pre_content}}

创建中文分词器

由于 whoosh 对中文的分词能力不行,如果我们搜索中文,其八成不会对其进行分词,所以我们额外引入了 jieba 模块来进行中文分词。

在 /MrDoc/app_doc/search 目录下新建一个名为 chines_analyzer.py 的文件,在其中写入如下代码:

Python实现中英文全文搜索的示例

自定义 whoosh 搜索引擎

在 /MrDoc/app_doc/search 目录下新建一个名为 whoosh_cn_backend.py 的文件(这个路径文件即是我们在 settings.py 文件中指定的引擎路径),复制 python 安装路径\Lib\site-packages\haystack\backends\whoosh_backend.py 的内容到这个文件中,并做如下修改:

from whoosh.analysis import StemmingAnalyzer

替换为:

from app_doc.search.chinese_analyzer import ChineseAnalyzer as StemmingAnalyzer

这样,我们自定义能够进行中文分词的 whoosh 引擎就完成了。

编写视图函数

完成上述步骤之后,全文搜索引擎幕后的工作就已经完成了,我们接下来需要按照 Django 的方式,编写逻辑视图,并进行 HTML 模板的渲染。

在这里,州的先生在/MrDoc/app_doc/下新建了一个名为 views_search.py 的文件来放置全文搜索的视图函数,继承 haystack.views.SearchView 类,自定义了一个全文搜索视图类:

Python实现中英文全文搜索的示例

HTML 模板渲染

全文搜索引擎的数据默认返回在了特定的 HTML 模板中,州的先生没有对此进行自定义,所以按照 haystack 的要求,在 template/search 目录下新建了一个名为 search.html 的模板文件,对全文搜索视图类返回的搜索数据集进行渲染解析。

Python实现中英文全文搜索的示例

生成索引

最后我们需要在命令行终端生成一下索引文件,使用如下命令:

python manage.py rebuild_index

这样,就实现了纯 Python 方案的中英文全文搜索,效果如下动图所示:

Python实现中英文全文搜索的示例

文中所涉代码均为 MrDoc 觅道文档源码,包括:

  • /MrDoc/MrDoc/settings.py
  • /MrDoc/app_doc/search/chinese_analyzer.py
  • /MrDoc/app_doc/search/highlight.py
  • /MrDoc/app_doc/search/whoosh_cn_backend.py
  • /MrDoc/app_doc/search_indexes.py
  • /MrDoc/app_doc/views_search.py
  • /MrDoc/template/search/*

源码地址为:

https://gitee.com/zmister/MrDoc
https://github.com/zmister2016/MrDoc

以上就是Python实现中英文全文搜索的示例的详细内容,更多关于python 实现全文搜索的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python分割文件的常用方法
Nov 01 Python
在Python中操作列表之List.append()方法的使用
May 20 Python
Android基于TCP和URL协议的网络编程示例【附demo源码下载】
Jan 23 Python
使用Python通过win32 COM打开Excel并添加Sheet的方法
May 02 Python
pip命令无法使用的解决方法
Jun 12 Python
python3对拉勾数据进行可视化分析的方法详解
Apr 03 Python
Python这样操作能存储100多万行的xlsx文件
Apr 16 Python
Python 实现Serial 与STM32J进行串口通讯
Dec 18 Python
Python常用编译器原理及特点解析
Mar 23 Python
Python Opencv中用compareHist函数进行直方图比较对比图片
Apr 07 Python
简单且有用的Python数据分析和机器学习代码
Jul 02 Python
如何基于python实现单目三维重建详解
Jun 25 Python
一文带你了解Python 四种常见基础爬虫方法介绍
Dec 04 #Python
使用Python通过oBIX协议访问Niagara数据的示例
Dec 04 #Python
python飞机大战游戏实例讲解
Dec 04 #Python
python 根据列表批量下载网易云音乐的免费音乐
Dec 03 #Python
python中字符串的编码与解码详析
Dec 03 #Python
python 爬取百度文库并下载(免费文章限定)
Dec 04 #Python
filter使用python3代码进行迭代元素的实例详解
Dec 03 #Python
You might like
PHP Yii框架之表单验证规则大全
2015/11/16 PHP
Yii数据模型中rules类验证器用法分析
2016/07/15 PHP
浅析php中array_map和array_walk的使用对比
2016/11/20 PHP
Django 标签筛选的实现代码(一对多、多对多)
2018/09/05 PHP
YII2框架中查询生成器Query()的使用方法示例
2020/03/18 PHP
js中reverse函数的用法详解
2013/12/26 Javascript
PHP结合jQuery实现的评论顶、踩功能
2015/07/22 Javascript
javascript同步服务器时间和同步倒计时小技巧
2015/09/24 Javascript
JavaScript中的数据类型转换方法小结
2015/10/26 Javascript
jQuery实现简单的点赞效果
2020/05/29 Javascript
js 模仿锚点定位的实现方法
2016/11/19 Javascript
基于js实现二级下拉联动
2016/12/17 Javascript
p5.js入门教程之平滑过渡(Easing)
2018/03/16 Javascript
js replace 全局替换的操作方法
2018/06/12 Javascript
vue-cli 目录结构详细讲解总结
2019/01/15 Javascript
javascript实现遮罩层动态效果实例
2019/05/14 Javascript
详解vuex之store源码简单解析
2019/06/13 Javascript
Node.js系列之发起get/post请求(2)
2019/08/30 Javascript
python控制台中实现进度条功能
2015/11/10 Python
利用Celery实现Django博客PV统计功能详解
2017/05/08 Python
python基础练习之几个简单的游戏
2017/11/10 Python
Python中支持向量机SVM的使用方法详解
2017/12/26 Python
python+opencv实现动态物体识别
2018/01/09 Python
对python抓取需要登录网站数据的方法详解
2018/05/21 Python
利用python和百度地图API实现数据地图标注的方法
2019/05/13 Python
python机器学习库scikit-learn:SVR的基本应用
2019/06/26 Python
python爬虫 urllib模块发起post请求过程解析
2019/08/20 Python
Python3 翻转二叉树的实现
2019/09/30 Python
HTML5 UTF-8 中文乱码的解决方法
2013/11/18 HTML / CSS
HTML5 新标签全部总汇(推荐)
2016/06/13 HTML / CSS
安全员岗位职责
2013/11/11 职场文书
学校岗位设置方案
2014/01/16 职场文书
公司委托书范本
2014/04/04 职场文书
公司禁烟通知
2015/04/23 职场文书
台风停课通知
2015/04/24 职场文书
十大最帅动漫男主 碓冰拓海上榜,第一是《灌篮高手》男主角
2022/03/18 日漫