利用Python过滤相似文本的简单方法示例


Posted in Python onFebruary 03, 2021

问题

假设你在存档中有成千上万的文档,其中许多是彼此重复的,即使文档的内容相同,标题不同。 现在想象一下,现在老板要求你通过删除不必要的重复文档来释放一些空间。

问题是:如何过滤标题足够相似的文本,以使内容可能相同? 接下来,如何实现此目标,以便在完成操作时不会删除过多的文档,而保留一组唯一的文档? 让我们用一些代码使它更清楚:

titles = [
 "End of Year Review 2020",
 "2020 End of Year",
 "January Sales Projections",
 "Accounts 2017-2018",
 "Jan Sales Predictions"
]

# Desired output
filtered_titles = [
 "End of Year Review 2020",
 "January Sales Projections",
 "Accounts 2017-2018",
]

根据以上的问题,本文适合那些希望快速而实用地概述如何解决这样的问题并广泛了解他们同时在做什么的人!

接下来,我将介绍我为解决这个问题所采取的不同步骤。下面是控制流的概要:

预处理所有标题文本

生成所有标题成对

测试所有对的相似性

如果一对文本未能通过相似性测试,则删除其中一个文本并创建一个新的文本列表

继续测试这个新的相似的文本列表,直到没有类似的文本留下

用Python表示,这可以很好地映射到递归函数上!

代码

下面是Python中实现此功能的两个函数。

import spacy
from itertools import combinations


# Set globals
nlp = spacy.load("en_core_web_md")

def pre_process(titles):
 """
 Pre-processes titles by removing stopwords and lemmatizing text.
 :param titles: list of strings, contains target titles,.
 :return: preprocessed_title_docs, list containing pre-processed titles.
 """

 # Preprocess all the titles
 title_docs = [nlp(x) for x in titles]
 preprocessed_title_docs = []
 lemmatized_tokens = []
 for title_doc in title_docs:
  for token in title_doc:
   if not token.is_stop:
    lemmatized_tokens.append(token.lemma_)
  preprocessed_title_docs.append(" ".join(lemmatized_tokens))
  del lemmatized_tokens[
   :
   ] # empty the lemmatized tokens list as the code moves onto a new title

 return preprocessed_title_docs

def similarity_filter(titles):
 """
 Recursively check if titles pass a similarity filter.
 :param titles: list of strings, contains titles.
 If the function finds titles that fail the similarity test, the above param will be the function output.
 :return: this method upon itself unless there are no similar titles; in that case the feed that was passed
 in is returned.
 """

 # Preprocess titles
 preprocessed_title_docs = pre_process(titles)

 # Remove similar titles
 all_summary_pairs = list(combinations(preprocessed_title_docs, 2))
 similar_titles = []
 for pair in all_summary_pairs:
  title1 = nlp(pair[0])
  title2 = nlp(pair[1])
  similarity = title1.similarity(title2)
  if similarity > 0.8:
   similar_titles.append(pair)

 titles_to_remove = []
 for a_title in similar_titles:
  # Get the index of the first title in the pair
  index_for_removal = preprocessed_title_docs.index(a_title[0])
  titles_to_remove.append(index_for_removal)

 # Get indices of similar titles and remove them
 similar_title_counts = set(titles_to_remove)
 similar_titles = [
  x[1] for x in enumerate(titles) if x[0] in similar_title_counts
 ]

 # Exit the recursion if there are no longer any similar titles
 if len(similar_title_counts) == 0:
  return titles

 # Continue the recursion if there are still titles to remove
 else:
  # Remove similar titles from the next input
  for title in similar_titles:
   idx = titles.index(title)
   titles.pop(idx)
   
  return similarity_filter(titles)

if __name__ == "__main__":
 your_title_list = ['title1', 'title2']
 similarty_filter(your_title_list)

第一个是预处理标题文本的简单函数;它删除像' the ', ' a ', ' and '这样的停止词,并只返回标题中单词的引理。

如果你在这个函数中输入“End of Year Review 2020”,你会得到“end year review 2020”作为输出;如果你输入“January Sales Projections”,你会得到“january sale projection”。

它主要使用了python中非常容易使用的spacy库.

第二个函数(第30行)为所有标题创建配对,然后确定它们是否通过了余弦相似度测试。如果它没有找到任何相似的标题,那么它将输出一个不相似标题的列表。但如果它确实找到了相似的标题,在删除没有通过相似度测试的配对后,它会将这些过滤后的标题再次发送给它自己,并检查是否还有相似的标题。

这就是为什么它是递归的!简单明了,这意味着函数将继续检查输出,以真正确保在返回“最终”输出之前没有类似的标题。

什么是余弦相似度?

但简而言之,这就是spacy在幕后做的事情……

首先,还记得那些预处理过的工作吗?首先,spacy把我们输入的单词变成了一个数字矩阵。

一旦它完成了,你就可以把这些数字变成向量,也就是说你可以把它们画在图上。

一旦你这样做了,计算两条直线夹角的余弦就能让你知道它们是否指向相同的方向。

利用Python过滤相似文本的简单方法示例

所以,在上图中,想象一下,A线代表“闪亮的橙色水果”,B线代表“闪亮的红苹果是一种水果”。

在这种情况下,行A和行B都对应于空格为这两个句子创建的数字矩阵。这两条线之间的角度——在上面的图表中由希腊字母theta表示——是非常有用的!你可以计算余弦来判断这两条线是否指向同一个方向。

这听起来似乎是显而易见的,难以计算,但关键是,这种方法为我们提供了一种自动化整个过程的方法。

总结

回顾一下,我已经解释了递归python函数如何使用余弦相似性和spacy自然语言处理库来接受相似文本的输入,然后返回彼此不太相似的文本。

可能有很多这样的用例……类似于我在本文开头提到的归档用例,你可以使用这种方法在数据集中过滤具有惟一歌词的歌曲,甚至过滤具有惟一内容类型的社交媒体帖子。

到此这篇关于利用Python过滤相似文本的简单方法的文章就介绍到这了,更多相关Python过滤相似文本内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python基于xml parse实现解析cdatasection数据
Sep 30 Python
简单的Python的curses库使用教程
Apr 11 Python
Python抓取框架Scrapy爬虫入门:页面提取
Dec 01 Python
Python实现的井字棋(Tic Tac Toe)游戏示例
Jan 31 Python
如何通过Python实现标签云算法
Jul 02 Python
Pycharm 2020最新永久激活码(附最新激活码和插件)
Sep 17 Python
Pytorch使用MNIST数据集实现基础GAN和DCGAN详解
Jan 10 Python
Python greenlet和gevent使用代码示例解析
Apr 01 Python
pip install 使用国内镜像的方法示例
Apr 03 Python
在python中使用nohup命令说明
Apr 16 Python
浅谈Python响应式类库RxPy
Jun 14 Python
Python 恐龙跑跑小游戏实现流程
Feb 15 Python
python time.strptime格式化实例详解
Feb 03 #Python
Python字符串的15个基本操作(小结)
Feb 03 #Python
python调用百度AI接口实现人流量统计
Feb 03 #Python
在python3.9下如何安装scrapy的方法
Feb 03 #Python
Pycharm创建python文件自动添加日期作者等信息(步骤详解)
Feb 03 #Python
python3.9和pycharm的安装教程并创建简单项目的步骤
Feb 03 #Python
Python实现区域填充的示例代码
Feb 03 #Python
You might like
PHP新手上路(十)
2006/10/09 PHP
PHP批量查询WordPress留言者E-mail地址实现方法
2015/02/15 PHP
php实现通过ftp上传文件
2015/06/19 PHP
php检查页面是否被百度收录
2015/10/28 PHP
Yii2 rbac权限控制操作步骤实例教程
2016/04/29 PHP
PHP在linux上执行外部命令的方法
2017/02/06 PHP
PHP 扩展Memcached命令用法实例总结
2020/06/04 PHP
从JavaScript的函数重名看其初始化方式
2007/03/08 Javascript
javascript显示隐藏层比较不错的方法分析
2008/09/30 Javascript
设置下载不需要倒计时cookie(倒计时代码)
2008/11/19 Javascript
jquery 图片缩放拖动的简单实例
2014/01/08 Javascript
js清空表单数据的两种方式(遍历+reset)
2014/07/18 Javascript
node.js中的fs.writeFileSync方法使用说明
2014/12/14 Javascript
浅谈javascript中的instanceof和typeof
2015/02/27 Javascript
jQuery中 attr() 方法使用小结
2015/05/03 Javascript
jquery操作angularjs对象
2015/06/26 Javascript
javascript实现九宫格相加数值相等
2020/05/28 Javascript
使用jQuery.Qrcode插件在客户端动态生成二维码并添加自定义Logo
2016/09/01 Javascript
jQuery中fadein与fadeout方法用法示例
2016/09/16 Javascript
jquery动态添加文本并获取值的方法
2016/10/12 Javascript
利用Vue实现移动端图片轮播组件的方法实例
2017/08/23 Javascript
angular中ui calendar的一些使用心得(推荐)
2017/11/03 Javascript
python实现逆波兰计算表达式实例详解
2015/05/06 Python
Python数据分析之双色球中蓝红球分析统计示例
2018/02/03 Python
python3.x 将byte转成字符串的方法
2018/07/17 Python
python实现浪漫的烟花秀
2019/01/30 Python
Python+OpenCV实现旋转文本校正方式
2020/01/09 Python
使用Keras中的ImageDataGenerator进行批次读图方式
2020/06/17 Python
虚拟机下载python是否需要联网
2020/07/27 Python
使用gunicorn部署django项目的问题
2020/12/30 Python
HTML5实现动画效果的方式汇总
2016/02/29 HTML / CSS
西班牙购买行李箱和背包网站:Maletas Greenwich
2019/10/08 全球购物
哈弗商学院毕业生求职信
2014/02/26 职场文书
幼儿园安全生产月活动总结
2014/07/05 职场文书
学习党代会心得体会
2014/09/05 职场文书
Android超详细讲解组件ScrollView的使用
2022/03/31 Java/Android