Python爬虫学习之翻译小程序


Posted in Python onJuly 30, 2019

本次博客分享的内容为基于有道在线翻译实现一个实时翻译小程序,本次任务是参考小甲鱼的书《零基础入门学习Python》完成的,书中代码对于当前的有道词典并不适用,使用后无法实现翻译功能,在网上进行学习之后解决了这一问题。

2、前置工作

1)由于有道在线翻译是“反爬虫”的,所以在编写该程序的时候需要使用到User-Agent,通过使用request模块中的headers参数,对它进行适当的设置就可以将程序访问伪装为浏览器访问,有两种方法可以添加headers参数,我使用的方法是通过add_header()方法往Request对象中添加headers参数;

2)我使用的是360浏览器,获取它User-Agent的方法是在地址栏中输入about:version即可,结果如下图:

Python爬虫学习之翻译小程序

3)在获得该参数后还需要获取有道翻译的data数据,首先先打开有道翻译界面,然后打开其审查元素,点击netwoek,然后在翻译框内输入word点击翻译,找到如下图所示的位置:

Python爬虫学习之翻译小程序

4)一直往下滑动,就可以找到data参数,在编程时的设置就需要按照这里来完成,如下图:

Python爬虫学习之翻译小程序

其中在headers中需要设置的Referer及User-Agent也在上图中可以找到。

3、任务代码

在程序的编写中需要使用到许多python模块,包括urllib、json 、time等等。

对于urllib在上一篇博客中已经用到了,它的作用是一个高级的 web 交流库,其核心功能就是模仿web浏览器等客户端,去请求相应的资源,并返回一个类文件对象。

json是一种轻量级的数据交换格式,易于人阅读和编写,我们需要使用json.loads 解码 json数据。

time是用于获取当前时间戳并延迟提交数据,延迟提交数据虽然会降低工作效率,但是也降低了ip被网页拉黑的风险。

具体的代码如下图所示:

import urllib.request #导入urllib.request库
import urllib.parse #导入urllib.parse库
import json #导入json库
import time #导入time库
import random #导入random库
import hashlib #导入hashlib库
url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule" #有道翻译的网址
while True: #定义死循环
 fanyi = input("请输入想要翻译的内容:") #用户输入想要翻译的内容
 #设置API接口
 a = 'fanyideskweb'   #设置client
 b = fanyi    #需要翻译的内容
 c = str(int(time.time() * 1000)+ random.randint(1, 10)) #当前时间戳
 d = 'rY0D^0\'nM0}g5Mm1z%1G4'   #加密字符
 sign = hashlib.md5((a +b +c + d).encode('utf - 8')).hexdigest() #根据内容进行md5加密
 #设置data,按照网页审查元素设置即可
 data = {}
 data['i'] = fanyi
 data['from'] = 'AUTO'
 data['to'] = 'AUTO'
 data['smartresult'] = 'dict'
 data['client'] = 'fanyideskweb'
 data['salt'] = c
 data['sign'] = sign
 data['doctype'] = 'json'
 data['version'] = '2.1'
 data['keyform'] = 'fanyi.web'
 data['action'] = 'FY_BY_CLICKBUTTION'
 data['typoResult'] = 'true'
 data = urllib.parse.urlencode(data).encode('utf - 8') #urlencode转换data数据并编码为utf-8码
 req = urllib.request.Request(url, data)  #指定网页,包含url、data和head
 #伪造浏览器访问
 req.add_header('Referer','http://fanyi.youdao.com')
 req.add_header('User - Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE')
 response = urllib.request.urlopen(req)  #post方式打开指定网页
 html = response.read()   #读取网页信息
 html = html.decode('utf - 8')  #将utf-8码解码为unicode码
 target = json.loads(html)   #把json页面转换为一个字典
 print("翻译结果: %s" % (target['translateResult'][0][0]['tgt'])) #输出
 time.sleep(5) #延迟提交数据

运行结果如下图所示:

Python爬虫学习之翻译小程序

4、总结

书上的知识是否正确还需要自己敲一边代码才能进行验证,所以说动手才是最重要的,本次制作这个翻译小程序,由于书本知识的错误,我通过网上查找资料才解决了这个问题,从中也学到了许多知识,希望自己能继续加油,学到更多的知识。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python用字典统计单词或汉字词个数示例
Apr 22 Python
python判断字符串是否包含子字符串的方法
Mar 24 Python
Python中使用tarfile压缩、解压tar归档文件示例
Apr 05 Python
python3制作捧腹网段子页爬虫
Feb 12 Python
Python实现将Excel转换成xml的方法示例
Aug 25 Python
Python实现的逻辑回归算法示例【附测试csv文件下载】
Dec 28 Python
由Python编写的MySQL管理工具代码实例
Apr 09 Python
python安装numpy和pandas的方法步骤
May 27 Python
python pandas.DataFrame.loc函数使用详解
Mar 26 Python
Python如何根据时间序列数据作图
May 12 Python
Python如何实现线程间通信
Jul 30 Python
python实现发送邮件
Mar 02 Python
安装docker-compose的两种最简方法
Jul 30 #Python
Django的性能优化实现解析
Jul 30 #Python
Python爬虫学习之获取指定网页源码
Jul 30 #Python
django-初始配置(纯手写)详解
Jul 30 #Python
django 单表操作实例详解
Jul 30 #Python
Apache部署Django项目图文详解
Jul 30 #Python
Python 使用list和tuple+条件判断详解
Jul 30 #Python
You might like
PHP Switch 语句之学习笔记
2013/09/21 PHP
php异常处理捕获错误整理
2019/09/23 PHP
Javascript hasOwnProperty 方法 & in 关键字
2008/11/26 Javascript
extJs 常用到的增,删,改,查操作代码
2009/12/28 Javascript
js中将URL中的参数提取出来作为对象的实现代码
2011/08/16 Javascript
jQuery学习笔记之控制页面实现代码
2012/02/27 Javascript
js实现字符串的16进制编码不加密
2014/04/25 Javascript
详解js中构造流程图的核心技术JsPlumb(2)
2015/12/08 Javascript
JS组件Bootstrap实现弹出框效果代码
2016/04/26 Javascript
javascript 数组的定义和数组的长度
2016/06/07 Javascript
AngularJS基础 ng-mouseover 指令简单示例
2016/08/02 Javascript
canvas实现绘制吃豆鱼效果
2017/01/12 Javascript
Angular动态添加、删除输入框并计算值实例代码
2017/03/29 Javascript
Vue.js实现微信过渡动画左右切换效果
2017/06/13 Javascript
vue-cli项目中使用Mockjs详解
2018/05/14 Javascript
vue-router命名视图的使用讲解
2019/01/19 Javascript
vue自定义js图片碎片轮播图切换效果的实现代码
2019/04/28 Javascript
微信小程序开发注意指南和优化实践(小结)
2019/06/21 Javascript
js+canvas实现简单扫雷小游戏
2021/01/22 Javascript
解决vue一个页面中复用同一个echarts组件的问题
2020/07/19 Javascript
基于JQuery和DWR实现异步数据传递
2020/10/16 jQuery
基于JavaScript实现简单的轮播图
2021/03/03 Javascript
python下MySQLdb用法实例分析
2015/06/08 Python
python中getaddrinfo()基本用法实例分析
2015/06/28 Python
python生成IP段的方法
2015/07/07 Python
python中threading开启关闭线程操作
2020/05/02 Python
CSS3美化表单控件全集
2016/06/29 HTML / CSS
用HTML5实现手机摇一摇的功能的教程
2012/10/30 HTML / CSS
护理学毕业生求职信
2013/11/14 职场文书
爱护草坪标语
2014/06/24 职场文书
校园元旦活动总结
2014/07/09 职场文书
2014年旅游局法制宣传日活动总结
2014/11/01 职场文书
大学生党员个人总结
2015/02/13 职场文书
运动会运动员赞词
2015/07/22 职场文书
浅谈如何提高PHP代码质量之端到端集成测试
2021/05/28 PHP
2021好看的国漫排行榜前十名 《完美世界》上榜,《元龙》排名第一
2022/03/18 国漫