Python爬虫学习之翻译小程序


Posted in Python onJuly 30, 2019

本次博客分享的内容为基于有道在线翻译实现一个实时翻译小程序,本次任务是参考小甲鱼的书《零基础入门学习Python》完成的,书中代码对于当前的有道词典并不适用,使用后无法实现翻译功能,在网上进行学习之后解决了这一问题。

2、前置工作

1)由于有道在线翻译是“反爬虫”的,所以在编写该程序的时候需要使用到User-Agent,通过使用request模块中的headers参数,对它进行适当的设置就可以将程序访问伪装为浏览器访问,有两种方法可以添加headers参数,我使用的方法是通过add_header()方法往Request对象中添加headers参数;

2)我使用的是360浏览器,获取它User-Agent的方法是在地址栏中输入about:version即可,结果如下图:

Python爬虫学习之翻译小程序

3)在获得该参数后还需要获取有道翻译的data数据,首先先打开有道翻译界面,然后打开其审查元素,点击netwoek,然后在翻译框内输入word点击翻译,找到如下图所示的位置:

Python爬虫学习之翻译小程序

4)一直往下滑动,就可以找到data参数,在编程时的设置就需要按照这里来完成,如下图:

Python爬虫学习之翻译小程序

其中在headers中需要设置的Referer及User-Agent也在上图中可以找到。

3、任务代码

在程序的编写中需要使用到许多python模块,包括urllib、json 、time等等。

对于urllib在上一篇博客中已经用到了,它的作用是一个高级的 web 交流库,其核心功能就是模仿web浏览器等客户端,去请求相应的资源,并返回一个类文件对象。

json是一种轻量级的数据交换格式,易于人阅读和编写,我们需要使用json.loads 解码 json数据。

time是用于获取当前时间戳并延迟提交数据,延迟提交数据虽然会降低工作效率,但是也降低了ip被网页拉黑的风险。

具体的代码如下图所示:

import urllib.request #导入urllib.request库
import urllib.parse #导入urllib.parse库
import json #导入json库
import time #导入time库
import random #导入random库
import hashlib #导入hashlib库
url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule" #有道翻译的网址
while True: #定义死循环
 fanyi = input("请输入想要翻译的内容:") #用户输入想要翻译的内容
 #设置API接口
 a = 'fanyideskweb'   #设置client
 b = fanyi    #需要翻译的内容
 c = str(int(time.time() * 1000)+ random.randint(1, 10)) #当前时间戳
 d = 'rY0D^0\'nM0}g5Mm1z%1G4'   #加密字符
 sign = hashlib.md5((a +b +c + d).encode('utf - 8')).hexdigest() #根据内容进行md5加密
 #设置data,按照网页审查元素设置即可
 data = {}
 data['i'] = fanyi
 data['from'] = 'AUTO'
 data['to'] = 'AUTO'
 data['smartresult'] = 'dict'
 data['client'] = 'fanyideskweb'
 data['salt'] = c
 data['sign'] = sign
 data['doctype'] = 'json'
 data['version'] = '2.1'
 data['keyform'] = 'fanyi.web'
 data['action'] = 'FY_BY_CLICKBUTTION'
 data['typoResult'] = 'true'
 data = urllib.parse.urlencode(data).encode('utf - 8') #urlencode转换data数据并编码为utf-8码
 req = urllib.request.Request(url, data)  #指定网页,包含url、data和head
 #伪造浏览器访问
 req.add_header('Referer','http://fanyi.youdao.com')
 req.add_header('User - Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE')
 response = urllib.request.urlopen(req)  #post方式打开指定网页
 html = response.read()   #读取网页信息
 html = html.decode('utf - 8')  #将utf-8码解码为unicode码
 target = json.loads(html)   #把json页面转换为一个字典
 print("翻译结果: %s" % (target['translateResult'][0][0]['tgt'])) #输出
 time.sleep(5) #延迟提交数据

运行结果如下图所示:

Python爬虫学习之翻译小程序

4、总结

书上的知识是否正确还需要自己敲一边代码才能进行验证,所以说动手才是最重要的,本次制作这个翻译小程序,由于书本知识的错误,我通过网上查找资料才解决了这个问题,从中也学到了许多知识,希望自己能继续加油,学到更多的知识。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python列表去重的二种方法
Feb 14 Python
Python最基本的数据类型以及对元组的介绍
Apr 14 Python
Python的Django框架中消息通知的计数器实现教程
Jun 13 Python
python2 与python3的print区别小结
Jan 16 Python
python中字符串比较使用is、==和cmp()总结
Mar 18 Python
Python3.6实现根据电影名称(支持电视剧名称),获取下载链接的方法
Aug 26 Python
通过Python编写一个简单登录功能过程解析
Sep 04 Python
PyQt5的相对布局管理的实现
Aug 07 Python
python 还原梯度下降算法实现一维线性回归
Oct 22 Python
用Python实现童年贪吃蛇小游戏功能的实例代码
Dec 07 Python
Python之基础函数案例详解
Aug 30 Python
Python os和os.path模块详情
Apr 02 Python
安装docker-compose的两种最简方法
Jul 30 #Python
Django的性能优化实现解析
Jul 30 #Python
Python爬虫学习之获取指定网页源码
Jul 30 #Python
django-初始配置(纯手写)详解
Jul 30 #Python
django 单表操作实例详解
Jul 30 #Python
Apache部署Django项目图文详解
Jul 30 #Python
Python 使用list和tuple+条件判断详解
Jul 30 #Python
You might like
php使用mb_check_encoding检查字符串在指定的编码里是否有效
2013/11/07 PHP
Centos6.5和Centos7 php环境搭建方法
2016/05/27 PHP
thinkPHP5.0框架环境变量配置方法
2017/03/17 PHP
centos下file_put_contents()无法写入文件的原因及解决方法
2017/04/01 PHP
对联广告js flash激活
2006/10/19 Javascript
传递参数的标准方法(jQuery.ajax)
2008/11/19 Javascript
Jquery getJSON方法详细分析
2013/12/26 Javascript
jquery如何扑捉回车键触发的事件
2014/04/24 Javascript
jQuery+css实现的蓝色水平二级导航菜单效果代码
2015/09/11 Javascript
JS+CSS实现另类带提示效果的竖向导航菜单
2015/10/15 Javascript
javascript设置页面背景色及背景图片的方法
2015/12/29 Javascript
基于jquery实现轮播焦点图插件
2016/03/31 Javascript
如何制作幻灯片(代码分享)
2017/01/06 Javascript
原生js仿浏览器滚动条效果
2017/03/02 Javascript
jQuery插件HighCharts实现的2D对数饼图效果示例【附demo源码下载】
2017/03/09 Javascript
字太多用...代替的方法(两种)
2017/03/15 Javascript
JS非空验证及邮箱验证的实例
2017/08/11 Javascript
JavaScript实现图片切换效果
2017/08/12 Javascript
vue-auto-focus: 控制自动聚焦行为的 vue 指令方法
2018/08/25 Javascript
Vue插件之滑动验证码用法详解
2020/04/05 Javascript
Vue微信公众号网页分享的示例代码
2020/05/28 Javascript
python time模块用法实例详解
2014/09/11 Python
Python排序搜索基本算法之希尔排序实例分析
2017/12/09 Python
Python 获取主机ip与hostname的方法
2018/12/17 Python
python2和python3实现在图片上加汉字的方法
2019/08/22 Python
jupyter notebook实现显示行号
2020/04/13 Python
使用Django搭建网站实现商品分页功能
2020/05/22 Python
python中pyplot基础图标函数整理
2020/11/10 Python
台湾生鲜宅配:大口市集
2017/10/14 全球购物
回馈慈善的设计师太阳镜:DIFF eyewear
2019/10/17 全球购物
党员违纪检讨书
2014/02/18 职场文书
故意伤害人身损害赔偿协议书
2014/11/19 职场文书
2014年医院后勤工作总结
2014/12/06 职场文书
小学生家长意见
2015/06/03 职场文书
MySQL系列之五 视图、存储函数、存储过程、触发器
2021/07/02 MySQL
mysql脏页是什么
2021/07/26 MySQL