如何利用Python实现一个论文降重工具


Posted in Python onJuly 09, 2021

前言

时值毕业季,有不少小伙伴深受论文查重的困扰。因此我便想到做一个简单的自动去重的工具,先看看效果,我们再对原理或是代码实现做进一步的分析。

首先需要输入appid以及key,这些可以在百度翻译开放平台申请一个账号,可以免费申请一个账号。接着将需要进行降重的文本内容复制到相应的输入框内,点击开始按钮,即可输出不同但意思相近的语句,即达到降重去重的作用。点击复制按钮便可以将得到的新文本复制到剪贴板上,点击清楚按钮可以重新输入需要降重的文本,并且循环往复地进行。

如何利用Python实现一个论文降重工具

去重原理

论文查重的粒度是句子,两个句子的相似度主要取决于句子包含哪些词,以及词在句子中的位置。句子相似度只是文字上的对比,不考虑语义上的相近。

正因如此,我们可以采取的措施便是变换句子结构,使用近似词替换。

为了完成这些句子的自动替换,从而达到降重的目的,这里很容易便想到利用不同语种之间的互相转换来生成新文本。比如在本工具中,我采用了中文→英文→韩文→中文的策略,你也可以采取更长的转换路径,但那样似乎会在很大程度上降低文本的可读性。

开放平台的使用

语句的翻译我采用了百度翻译开放平台的接口,简单地申请之后就可以获取每个月200万的免费字符翻译权限。

此API的接入方式略微有些麻烦,需要生成签名sign并且拼接完整的url。

def translate(q,lan_from,lan_to):
    url = 'http://api.fanyi.baidu.com/api/trans/vip/translate'
    salt = random.randint(1, 65536)
    sign = hashlib.md5((str(appid)+str(q)+str(salt)+str(key)).encode('utf-8')).hexdigest()
    params = {
        'from' :lan_from,
        'to' :lan_to,
        'salt' : salt,
        'sign' : sign,
        'appid' : appid,
        'q': q
    }
    r = requests.get(url,params=params)
    txt = r.json()
    if txt.get('trans_result', -1) == -1:
        print('ERROR Code:{}'.format(txt))
        return q
    return txt['trans_result'][0]['dst']

总结

在弄清楚原理以及API的调用方法之后,我们可以轻松地写出一个GUI界面,也就是这个降重工具。当然这个工具非常初级,大家可以进行更加全面的扩展。

到此这篇关于如何利用Python实现一个论文降重工具的文章就介绍到这了,更多相关Python论文降重工具内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python fileinput模块使用实例
Jun 03 Python
详解Python编程中基本的数学计算使用
Feb 04 Python
linux环境下python中MySQLdb模块的安装方法
Jun 16 Python
python生成随机图形验证码详解
Nov 08 Python
基于python list对象中嵌套元组使用sort时的排序方法
Apr 18 Python
python 异或加密字符串的实例
Oct 14 Python
python re正则匹配网页中图片url地址的方法
Dec 20 Python
Python正则表达式和re库知识点总结
Feb 11 Python
python调用动态链接库的基本过程详解
Jun 19 Python
python实现邮件发送功能
Aug 10 Python
Python实现朴素贝叶斯的学习与分类过程解析
Aug 24 Python
关于Django Models CharField 参数说明
Mar 31 Python
python实现MD5进行文件去重的示例代码
深入浅析python3 依赖倒置原则(示例代码)
Jul 09 #Python
Python中Selenium对Cookie的操作方法
Python常用配置文件ini、json、yaml读写总结
图文详解matlab原始处理图像几何变换
Django中session进行权限管理的使用
python利用pandas分析学生期末成绩实例代码
You might like
IIS下PHP连接数据库提示mysql undefined function mysql_connect()
2010/06/04 PHP
Linux下PHP安装mcrypt扩展模块笔记
2014/09/10 PHP
thinkphp5.1框架模板布局与模板继承用法分析
2019/07/19 PHP
THINKPHP5.1 Config的配置与获取详解
2020/06/08 PHP
Javascript客户端将指定区域导出到Word、Excel的代码
2008/10/22 Javascript
ASP.NET jQuery 实例1(在TextBox里面创建一个默认提示)
2012/01/13 Javascript
jQuery判断一个元素是否可见的方法
2015/06/05 Javascript
javascript实现多栏闭合展开式广告位菜单效果实例
2015/08/05 Javascript
javascript获取系统当前时间的方法
2015/11/19 Javascript
AngularJS模块学习之Anchor Scroll
2016/01/19 Javascript
JavaScript操作 url 中 search 部分方法函数
2016/06/15 Javascript
JavaScript获取URL中参数querystring的方法详解
2016/10/11 Javascript
Vue使用localStorage存储数据的方法
2019/05/27 Javascript
详解webpack的clean-webpack-plugin插件报错
2020/10/16 Javascript
vantUI 获得piker选中值的自定义ID操作
2020/11/04 Javascript
Python深入06——python的内存管理详解
2016/12/07 Python
Pyspider中给爬虫伪造随机请求头的实例
2018/05/07 Python
Python操作列表常用方法实例小结【创建、遍历、统计、切片等】
2019/10/25 Python
基于python的itchat库实现微信聊天机器人(推荐)
2019/10/29 Python
浅谈matplotlib 绘制梯度下降求解过程
2020/07/12 Python
Python创建临时文件和文件夹
2020/08/05 Python
python 利用jieba.analyse进行 关键词提取
2020/12/17 Python
HTML5、Select下拉框右边加图标的实现代码(增进用户体验)
2017/10/16 HTML / CSS
英国旅游额外服务市场领导者:Holiday Extras(机场停车场、酒店、接送等)
2017/10/07 全球购物
俄罗斯香水和化妆品网上商店:NOTINO.ru
2019/12/17 全球购物
Java里面Pass by value和Pass by Reference是什么意思
2016/05/02 面试题
一封普通求职者的求职信
2013/11/20 职场文书
同学聚会主持词
2014/03/18 职场文书
幼儿园儿童节活动主持词+串词大全
2014/03/21 职场文书
项目投资意向书
2014/04/01 职场文书
《去年的树》教学反思
2014/04/11 职场文书
战略合作协议书范本
2014/04/18 职场文书
企业年度评优方案
2014/06/02 职场文书
《兰兰过桥》教学反思
2016/02/20 职场文书
争做文明公民倡议书
2019/06/24 职场文书
React更新渲染原理深入分析
2022/12/24 Javascript