如何利用Python实现一个论文降重工具


Posted in Python onJuly 09, 2021

前言

时值毕业季,有不少小伙伴深受论文查重的困扰。因此我便想到做一个简单的自动去重的工具,先看看效果,我们再对原理或是代码实现做进一步的分析。

首先需要输入appid以及key,这些可以在百度翻译开放平台申请一个账号,可以免费申请一个账号。接着将需要进行降重的文本内容复制到相应的输入框内,点击开始按钮,即可输出不同但意思相近的语句,即达到降重去重的作用。点击复制按钮便可以将得到的新文本复制到剪贴板上,点击清楚按钮可以重新输入需要降重的文本,并且循环往复地进行。

如何利用Python实现一个论文降重工具

去重原理

论文查重的粒度是句子,两个句子的相似度主要取决于句子包含哪些词,以及词在句子中的位置。句子相似度只是文字上的对比,不考虑语义上的相近。

正因如此,我们可以采取的措施便是变换句子结构,使用近似词替换。

为了完成这些句子的自动替换,从而达到降重的目的,这里很容易便想到利用不同语种之间的互相转换来生成新文本。比如在本工具中,我采用了中文→英文→韩文→中文的策略,你也可以采取更长的转换路径,但那样似乎会在很大程度上降低文本的可读性。

开放平台的使用

语句的翻译我采用了百度翻译开放平台的接口,简单地申请之后就可以获取每个月200万的免费字符翻译权限。

此API的接入方式略微有些麻烦,需要生成签名sign并且拼接完整的url。

def translate(q,lan_from,lan_to):
    url = 'http://api.fanyi.baidu.com/api/trans/vip/translate'
    salt = random.randint(1, 65536)
    sign = hashlib.md5((str(appid)+str(q)+str(salt)+str(key)).encode('utf-8')).hexdigest()
    params = {
        'from' :lan_from,
        'to' :lan_to,
        'salt' : salt,
        'sign' : sign,
        'appid' : appid,
        'q': q
    }
    r = requests.get(url,params=params)
    txt = r.json()
    if txt.get('trans_result', -1) == -1:
        print('ERROR Code:{}'.format(txt))
        return q
    return txt['trans_result'][0]['dst']

总结

在弄清楚原理以及API的调用方法之后,我们可以轻松地写出一个GUI界面,也就是这个降重工具。当然这个工具非常初级,大家可以进行更加全面的扩展。

到此这篇关于如何利用Python实现一个论文降重工具的文章就介绍到这了,更多相关Python论文降重工具内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python+Pika+RabbitMQ环境部署及实现工作队列的实例教程
Jun 29 Python
Python实现的简单模板引擎功能示例
Sep 02 Python
python数据分析数据标准化及离散化详解
Feb 26 Python
PyQt5每天必学之QSplitter实现窗口分隔
Apr 19 Python
pyQt5实时刷新界面的示例
Jun 25 Python
python3 线性回归验证方法
Jul 09 Python
Flask框架请求钩子与request请求对象用法实例分析
Nov 07 Python
.dcm格式文件软件读取及python处理详解
Jan 16 Python
使用Python 自动生成 Word 文档的教程
Feb 13 Python
python 3.8.3 安装配置图文教程
May 21 Python
matplotlib subplot绘制多个子图的方法示例
Jul 28 Python
用python实现前向分词最大匹配算法的示例代码
Aug 06 Python
python实现MD5进行文件去重的示例代码
深入浅析python3 依赖倒置原则(示例代码)
Jul 09 #Python
Python中Selenium对Cookie的操作方法
Python常用配置文件ini、json、yaml读写总结
图文详解matlab原始处理图像几何变换
Django中session进行权限管理的使用
python利用pandas分析学生期末成绩实例代码
You might like
编写PHP的安全策略
2006/10/09 PHP
php 各种应用乱码问题的解决方法
2010/05/09 PHP
解析phpstorm + xdebug 远程断点调试
2013/06/20 PHP
微信扫描二维码登录网站代码示例
2013/12/30 PHP
Laravel 5框架学习之路由、控制器和视图简介
2015/04/07 PHP
thinkPHP中分页用法实例分析
2015/12/26 PHP
Yii2中如何使用modal弹窗(基本使用)
2016/05/30 PHP
js中定义一个变量并判断其是否为空的方法
2014/05/13 Javascript
node.js中的fs.exists方法使用说明
2014/12/17 Javascript
javascript实现英文首字母大写
2015/04/23 Javascript
JS脚本根据手机浏览器类型跳转WAP手机网站(两种方式)
2015/08/04 Javascript
IE7浏览器窗口大小改变事件执行多次bug及IE6/IE7/IE8下resize问题
2015/08/21 Javascript
js实现简单的验证码
2015/12/25 Javascript
javascript每日必学之条件分支
2016/02/17 Javascript
js与jquery正则验证电子邮箱、手机号、邮政编码的方法
2016/07/04 Javascript
详解JS异步加载的三种方式
2017/03/07 Javascript
详解AngularJS ui-sref的简单使用
2017/04/24 Javascript
jquery应用实例分享_实现手风琴特效
2018/02/01 jQuery
小程序实现列表多个批量倒计时
2021/01/29 Javascript
vue计算属性computed的使用方法示例
2019/03/13 Javascript
详解从vue-loader源码分析CSS Scoped的实现
2019/09/23 Javascript
vue-i18n实现中英文切换的方法
2020/07/06 Javascript
vue 封装面包屑组件教程
2020/11/16 Javascript
vue项目如何监听localStorage或sessionStorage的变化
2021/01/04 Vue.js
Python3实现的画图及加载图片动画效果示例
2018/01/19 Python
对Python subprocess.Popen子进程管道阻塞详解
2018/10/29 Python
基于python及pytorch中乘法的使用详解
2019/12/27 Python
美国新娘礼品店:The Paisley Box
2020/09/08 全球购物
2014年司机工作总结
2014/11/21 职场文书
2014年大学宣传部工作总结
2014/12/19 职场文书
Golang二维切片初始化的实现
2021/04/08 Golang
教你用python控制安卓手机
2021/05/13 Python
Linux中Nginx的防盗链和优化的实现代码
2021/06/20 Servers
详细聊聊浏览器是如何看闭包的
2021/11/11 Javascript
MySQL时区造成时差问题
2022/04/13 MySQL
python神经网络ResNet50模型
2022/05/06 Python