利用Python过滤相似文本的简单方法示例


Posted in Python onFebruary 03, 2021

问题

假设你在存档中有成千上万的文档,其中许多是彼此重复的,即使文档的内容相同,标题不同。 现在想象一下,现在老板要求你通过删除不必要的重复文档来释放一些空间。

问题是:如何过滤标题足够相似的文本,以使内容可能相同? 接下来,如何实现此目标,以便在完成操作时不会删除过多的文档,而保留一组唯一的文档? 让我们用一些代码使它更清楚:

titles = [
 "End of Year Review 2020",
 "2020 End of Year",
 "January Sales Projections",
 "Accounts 2017-2018",
 "Jan Sales Predictions"
]

# Desired output
filtered_titles = [
 "End of Year Review 2020",
 "January Sales Projections",
 "Accounts 2017-2018",
]

根据以上的问题,本文适合那些希望快速而实用地概述如何解决这样的问题并广泛了解他们同时在做什么的人!

接下来,我将介绍我为解决这个问题所采取的不同步骤。下面是控制流的概要:

预处理所有标题文本

生成所有标题成对

测试所有对的相似性

如果一对文本未能通过相似性测试,则删除其中一个文本并创建一个新的文本列表

继续测试这个新的相似的文本列表,直到没有类似的文本留下

用Python表示,这可以很好地映射到递归函数上!

代码

下面是Python中实现此功能的两个函数。

import spacy
from itertools import combinations


# Set globals
nlp = spacy.load("en_core_web_md")

def pre_process(titles):
 """
 Pre-processes titles by removing stopwords and lemmatizing text.
 :param titles: list of strings, contains target titles,.
 :return: preprocessed_title_docs, list containing pre-processed titles.
 """

 # Preprocess all the titles
 title_docs = [nlp(x) for x in titles]
 preprocessed_title_docs = []
 lemmatized_tokens = []
 for title_doc in title_docs:
  for token in title_doc:
   if not token.is_stop:
    lemmatized_tokens.append(token.lemma_)
  preprocessed_title_docs.append(" ".join(lemmatized_tokens))
  del lemmatized_tokens[
   :
   ] # empty the lemmatized tokens list as the code moves onto a new title

 return preprocessed_title_docs

def similarity_filter(titles):
 """
 Recursively check if titles pass a similarity filter.
 :param titles: list of strings, contains titles.
 If the function finds titles that fail the similarity test, the above param will be the function output.
 :return: this method upon itself unless there are no similar titles; in that case the feed that was passed
 in is returned.
 """

 # Preprocess titles
 preprocessed_title_docs = pre_process(titles)

 # Remove similar titles
 all_summary_pairs = list(combinations(preprocessed_title_docs, 2))
 similar_titles = []
 for pair in all_summary_pairs:
  title1 = nlp(pair[0])
  title2 = nlp(pair[1])
  similarity = title1.similarity(title2)
  if similarity > 0.8:
   similar_titles.append(pair)

 titles_to_remove = []
 for a_title in similar_titles:
  # Get the index of the first title in the pair
  index_for_removal = preprocessed_title_docs.index(a_title[0])
  titles_to_remove.append(index_for_removal)

 # Get indices of similar titles and remove them
 similar_title_counts = set(titles_to_remove)
 similar_titles = [
  x[1] for x in enumerate(titles) if x[0] in similar_title_counts
 ]

 # Exit the recursion if there are no longer any similar titles
 if len(similar_title_counts) == 0:
  return titles

 # Continue the recursion if there are still titles to remove
 else:
  # Remove similar titles from the next input
  for title in similar_titles:
   idx = titles.index(title)
   titles.pop(idx)
   
  return similarity_filter(titles)

if __name__ == "__main__":
 your_title_list = ['title1', 'title2']
 similarty_filter(your_title_list)

第一个是预处理标题文本的简单函数;它删除像' the ', ' a ', ' and '这样的停止词,并只返回标题中单词的引理。

如果你在这个函数中输入“End of Year Review 2020”,你会得到“end year review 2020”作为输出;如果你输入“January Sales Projections”,你会得到“january sale projection”。

它主要使用了python中非常容易使用的spacy库.

第二个函数(第30行)为所有标题创建配对,然后确定它们是否通过了余弦相似度测试。如果它没有找到任何相似的标题,那么它将输出一个不相似标题的列表。但如果它确实找到了相似的标题,在删除没有通过相似度测试的配对后,它会将这些过滤后的标题再次发送给它自己,并检查是否还有相似的标题。

这就是为什么它是递归的!简单明了,这意味着函数将继续检查输出,以真正确保在返回“最终”输出之前没有类似的标题。

什么是余弦相似度?

但简而言之,这就是spacy在幕后做的事情……

首先,还记得那些预处理过的工作吗?首先,spacy把我们输入的单词变成了一个数字矩阵。

一旦它完成了,你就可以把这些数字变成向量,也就是说你可以把它们画在图上。

一旦你这样做了,计算两条直线夹角的余弦就能让你知道它们是否指向相同的方向。

利用Python过滤相似文本的简单方法示例

所以,在上图中,想象一下,A线代表“闪亮的橙色水果”,B线代表“闪亮的红苹果是一种水果”。

在这种情况下,行A和行B都对应于空格为这两个句子创建的数字矩阵。这两条线之间的角度——在上面的图表中由希腊字母theta表示——是非常有用的!你可以计算余弦来判断这两条线是否指向同一个方向。

这听起来似乎是显而易见的,难以计算,但关键是,这种方法为我们提供了一种自动化整个过程的方法。

总结

回顾一下,我已经解释了递归python函数如何使用余弦相似性和spacy自然语言处理库来接受相似文本的输入,然后返回彼此不太相似的文本。

可能有很多这样的用例……类似于我在本文开头提到的归档用例,你可以使用这种方法在数据集中过滤具有惟一歌词的歌曲,甚至过滤具有惟一内容类型的社交媒体帖子。

到此这篇关于利用Python过滤相似文本的简单方法的文章就介绍到这了,更多相关Python过滤相似文本内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python结合opencv实现人脸检测与跟踪
Jun 08 Python
Python3使用requests登录人人影视网站的方法
May 11 Python
新手如何快速入门Python(菜鸟必看篇)
Jun 10 Python
Python基础学习之常见的内建函数整理
Sep 06 Python
全面分析Python的优点和缺点
Feb 07 Python
点球小游戏python脚本
May 22 Python
在cmder下安装ipython以及环境的搭建
Oct 19 Python
Django 1.10以上版本 url 配置注意事项详解
Aug 05 Python
django数据模型(Model)的字段类型解析
Dec 25 Python
解决Tensorflow sess.run导致的内存溢出问题
Feb 05 Python
python爬虫利用selenium实现自动翻页爬取某鱼数据的思路详解
Dec 22 Python
用Python提取PDF表格的方法
Apr 11 Python
python time.strptime格式化实例详解
Feb 03 #Python
Python字符串的15个基本操作(小结)
Feb 03 #Python
python调用百度AI接口实现人流量统计
Feb 03 #Python
在python3.9下如何安装scrapy的方法
Feb 03 #Python
Pycharm创建python文件自动添加日期作者等信息(步骤详解)
Feb 03 #Python
python3.9和pycharm的安装教程并创建简单项目的步骤
Feb 03 #Python
Python实现区域填充的示例代码
Feb 03 #Python
You might like
把1316这个数表示成两个数的和,其中一个为13的倍数,另一个是11的倍数,求这两个数。
2011/06/24 PHP
php中数字0和空值的区别分析
2014/06/05 PHP
php通过function_exists检测函数是否存在的方法
2015/03/18 PHP
php操作MongoDB类实例
2015/06/17 PHP
php cookie工作原理与实例详解
2016/07/18 PHP
js优化针对IE6.0起作用(详细整理)
2012/12/25 Javascript
浅谈document.write()输出样式
2015/05/07 Javascript
JS+CSS实现的拖动分页效果实例
2015/05/11 Javascript
在Node.js中使用HTTP上传文件的方法
2015/06/23 Javascript
jquery使用ul模拟select实现表单美化的方法
2015/08/18 Javascript
基于JavaScript如何实现私有成员的语法特征及私有成员的实现方式
2015/10/28 Javascript
AngularJS 依赖注入详解和简单实例
2016/07/28 Javascript
js轮盘抽奖实例分析
2020/04/17 Javascript
vue中配置mint-ui报css错误问题的解决方法
2017/10/11 Javascript
详解Vue的ref特性的使用
2020/01/24 Javascript
vue项目在线上服务器访问失败原因分析
2020/08/14 Javascript
Vue elementui字体图标显示问题解决方案
2020/08/18 Javascript
Vue使用Proxy代理后仍无法生效的解决
2020/11/13 Javascript
Vue实现指令式动态追加小球动画组件的步骤
2020/12/18 Vue.js
[43:49]LGD vs CHAOS 2019国际邀请赛小组赛 BO2 第一场 8.15
2019/08/16 DOTA
Python语言技巧之三元运算符使用介绍
2013/03/04 Python
Python实现合并excel表格的方法分析
2019/04/13 Python
关于python 的legend图例,参数使用说明
2020/04/17 Python
Python自动创建Excel并获取内容
2020/09/16 Python
Farfetch巴西官网:奢侈品牌时尚购物平台
2020/10/19 全球购物
递归实现回文判断(如:abcdedbca就是回文,判断一个面试者对递归理解的简单程序)
2013/04/28 面试题
放飞梦想演讲稿
2014/05/05 职场文书
环保倡议书50字
2014/05/15 职场文书
党支部书记岗位职责
2015/02/15 职场文书
《有余数的除法》教学反思
2016/02/22 职场文书
餐厅开业活动方案
2019/07/08 职场文书
Python数据可视化之基于pyecharts实现的地理图表的绘制
2021/06/10 Python
Python音乐爬虫完美绕过反爬
2021/08/30 Python
python模块与C和C++动态库相互调用实现过程示例
2021/11/02 Python
详解Python中*args和**kwargs的使用
2022/04/07 Python
php解析非标准json、非规范json的方式实例
2022/05/10 PHP