使用Python检测文章抄袭及去重算法原理解析


Posted in Python onJune 14, 2019

在互联网出现之前,“抄”很不方便,一是“源”少,而是发布渠道少;而在互联网出现之后,“抄”变得很简单,铺天盖地的“源”源源不断,发布渠道也数不胜数,博客论坛甚至是自建网站,而爬虫还可以让“抄”完全自动化不费劲。这就导致了互联网上的“文章”重复性很高。这里的“文章”只新闻、博客等文字占据绝大部分内容的网页。

使用Python检测文章抄袭及去重算法原理解析

中文新闻网站的“转载”(其实就是抄)现象非常严重,这种“转载”几乎是全文照抄,或改下标题,或是改下编辑姓名,或是文字个别字修改。所以,对新闻网页的去重很有必要。

一、去重算法原理

文章去重(或叫网页去重)是根据文章(或网页)的文字内容来判断多个文章之间是否重复。这是爬虫爬取大量的文本行网页(新闻网页、博客网页等)后要进行的非常重要的一项操作,也是搜索引擎非常关心的一个问题。搜索引擎中抓取的网页是海量的,海量文本的去重算法也出现了很多,比如minihash, simhash等等。

在工程实践中,对simhash使用了很长一段时间,有些缺点,一是算法比较复杂、效率较差;二是准确率一般。

网上也流传着百度采用的一种方法,用文章最长句子的hash值作为文章的标识,hash相同的文章(网页)就认为其内容一样,是重复的文章(网页)。

这个所谓的“百度算法”对工程很友好,但是实际中还是会有很多问题。中文网页的一大特点就是“天下文章一大抄”,各种博文、新闻几乎一字不改或稍作修改就被网站发表了。这个特点,很适合这个“百度算法”。但是,实际中个别字的修改,会导致被转载的最长的那句话不一样,从而其hash值也不一样了,最终结果是,准确率很高,召回率较低。

为了解决这个问题,我提出了nshash(top-n longest sentences hash)算法,即:取文章的最长n句话(实践下来,n=5效果不错)分别做hash值,这n个hash值作为文章的指纹,就像是人的5个手指的指纹,每个指纹都可以唯一确认文章的唯一性。这是对“百度算法”的延伸,准确率还是很高,但是召回率大大提高,原先一个指纹来确定,现在有n个指纹来招回了。

二、算法实现

该算法的原理简单,实现起来也不难。比较复杂一点的是对于一篇文章(网页)返回一个similar_id,只要该ID相同则文章相似,通过groupby similar_id即可达到去重目的。

为了记录文章指纹和similar_id的关系,我们需要一个key-value数据库,本算法实现了内存和硬盘两种key-value数据库类来记录这种关系:

HashDBLeveldb 类:基于leveldb实现, 可用于海量文本的去重;

HashDBMemory 类:基于Python的dict实现,可用于中等数量(只要Python的dict不报内存错误)的文本去重。

这两个类都具有get()和put()两个方法,如果你想用Redis或MySQL等其它数据库来实现HashDB,可以参照这两个类的实现进行实现。

使用Python检测文章抄袭及去重算法原理解析

使用Python检测文章抄袭及去重算法原理解析

HashDBLeveldb类的实现

使用Python检测文章抄袭及去重算法原理解析

使用Python检测文章抄袭及去重算法原理解析

HashDBMemory类的实现

从效率上看,肯定是HashDBMemory速度更快。利用nshash对17400篇新闻网页内容的测试结果如下:

HashDBLeveldb: 耗时2.47秒; HashDBMemory: 耗时1.6秒;

具体测试代码请看 example/test.py。

有了这两个类,就可以实现nshash的核心算法了。

首先,对文本进行分句,以句号、感叹号、问号、换行符作为句子的结尾标识,一个正在表达式就可以分好句了。

其次,挑选最长的n句话,分别进行hash计算。hash函数可以用Python自带模块hashlib中的md5, sha等等,也可以用我在爬虫教程中多次提到的farmhash。

最后,我们需要根据这n个hash值给文本内容一个similar_id,通过上面两种HashDB的类的任意一种都可以比较容易实现。其原理就是,similar_id从0开始,从HashDB中查找这n个hash值是否有对应的similar_id,如果有就返回这个对应的similar_id;如果没有,就让当前similar_id加1作为这n个hash值对应的similar_id,将这种对应关系存入HashDB,并返回该similar_id即可。

这个算法实现为NSHash类:

使用Python检测文章抄袭及去重算法原理解析

使用Python检测文章抄袭及去重算法原理解析

NSHash类的实现

三、使用方法 

import nshash
nsh = nshash.NSHash(name='test', hashfunc='farmhash', hashdb='memory')
similar_id = nsh.get_similar(doc_text)

NSHash 类有三个参数:

  • name : 用于hashdb保存到硬盘的文件名,如果hashdb是HashDBMemory, 则用pickle序列化到硬盘;如果是HashDBLeveldb,则leveldb目录名为:name+'.hashdb'。name按需随便起即可。
  • hashfunc : 计算hash值的具体函数类别,目前实现两种类型: md5 和 farmhash 。默认是 md5 ,方便Windows上安装farmhash不方便。
  • hashdb :默认是 memory 即选择HashDBMemory,否则是HashDBLeveldb。

至于如何利用similar_id进行海量文本的去重,这要结合你如何存储、索引这些海量文本。可参考 example/test.py 文件。这个test是对excel中保存的新闻网页进行去重的例子。

总结

以上所述是小编给大家介绍的使用Python检测文章抄袭及去重算法原理解析 ,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python竟能画这么漂亮的花,帅呆了(代码分享)
Nov 15 Python
Python使用Tkinter实现机器人走迷宫
Jan 22 Python
新手常见6种的python报错及解决方法
Mar 09 Python
Python使用zip合并相邻列表项的方法示例
Mar 17 Python
python3+PyQt5自定义视图详解
Apr 24 Python
对Python 语音识别框架详解
Dec 24 Python
python 二维数组90度旋转的方法
Jan 28 Python
Django模板导入母版继承和自定义返回Html片段过程解析
Sep 18 Python
python3中rank函数的用法
Nov 27 Python
python 实现目录复制的三种小结
Dec 04 Python
通过实例学习Python Excel操作
Jan 06 Python
python实现图片转换成素描和漫画格式
Aug 19 Python
Ubuntu下Anaconda和Pycharm配置方法详解
Jun 14 #Python
PyQt5 加载图片和文本文件的实例
Jun 14 #Python
pyqt5 使用label控件实时显示时间的实例
Jun 14 #Python
ubuntu 18.04搭建python环境(pycharm+anaconda)
Jun 14 #Python
pyqt5 comboBox获得下标、文本和事件选中函数的方法
Jun 14 #Python
PyQt4实时显示文本内容GUI的示例
Jun 14 #Python
详解Python 定时框架 Apscheduler原理及安装过程
Jun 14 #Python
You might like
日本十大科幻动漫 宇宙骑士垫底,第一已成经典
2020/03/04 日漫
php实现httpclient类示例
2014/04/08 PHP
PHP匿名函数和use子句用法实例
2016/03/16 PHP
jQuery学习3:操作元素属性和特性
2010/02/07 Javascript
Javascript图像处理—为矩阵添加常用方法
2012/12/27 Javascript
JS读取XML文件示例代码
2013/11/15 Javascript
javascript实现仿IE顶部的可关闭警告条
2015/05/05 Javascript
javascript背景时钟实现方法
2015/06/18 Javascript
jquery实现隐藏在左侧的弹性弹出菜单效果
2015/09/18 Javascript
JS组件系列之JS组件封装过程详解
2017/04/28 Javascript
Node.js 异步异常的处理与domain模块解析
2017/05/10 Javascript
微信小程序城市定位的实现实例(获取当前所在国家城市信息)
2017/05/17 Javascript
vue.js路由跳转详解
2017/08/28 Javascript
详解nodejs 配置文件处理方案
2019/01/02 NodeJs
JavaScript链式调用原理与实现方法详解
2020/05/16 Javascript
vue的hash值原理也是table切换实例代码
2020/12/14 Vue.js
详解ES6 中的Object.assign()的用法实例代码
2021/01/11 Javascript
Python urllib、urllib2、httplib抓取网页代码实例
2015/05/09 Python
Python中使用ElementTree解析XML示例
2015/06/02 Python
Python实现PS滤镜特效Marble Filter玻璃条纹扭曲效果示例
2018/01/29 Python
Ubuntu下使用python读取doc和docx文档的内容方法
2018/05/08 Python
简单了解Python matplotlib线的属性
2019/06/29 Python
Flask框架学习笔记之路由和反向路由详解【图文与实例】
2019/08/12 Python
python代码如何实现余弦相似性计算
2020/02/09 Python
Python 保存加载mat格式文件的示例代码
2020/08/04 Python
ET Mall东森购物网:东森严选
2017/03/06 全球购物
留学自荐信的技巧
2013/10/17 职场文书
成人大专自我鉴定范文
2013/10/19 职场文书
婚前协议书怎么写
2014/04/15 职场文书
《春到梅花山》教学反思
2014/04/16 职场文书
2014年招商引资工作总结
2014/11/22 职场文书
2015年毕业生实习评语
2015/03/25 职场文书
2015年暑期社会实践报告
2015/07/13 职场文书
导游词之湖州-太湖
2019/10/11 职场文书
SpringBoot集成Druid连接池连接MySQL8.0.11
2021/07/02 Java/Android
MySQL为数据表建立索引的原则详解
2022/03/03 MySQL