详解Python3网络爬虫(二):利用urllib.urlopen向有道翻译发送数据获得翻译结果


Posted in Python onMay 07, 2019

上一篇内容,已经学会了使用简单的语句对网页进行抓取。接下来,详细看下urlopen的两个重要参数url和data,学习如何发送数据data

一、urlopen的url参数 Agent

详解Python3网络爬虫(二):利用urllib.urlopen向有道翻译发送数据获得翻译结果

url不仅可以是一个字符串,例如:http://www.baidu.com。url也可以是一个Request对象,这就需要我们先定义一个Request对象,然后将这个Request对象作为urlopen的参数使用,方法如下:

# -*- coding: UTF-8 -*-
from urllib import request

if __name__ == "__main__":
  req = request.Request("http://fanyi.baidu.com/")
  response = request.urlopen(req)
  html = response.read()
  html = html.decode("utf-8")
  print(html)

同样,运行这段代码同样可以得到网页信息。可以看一下这段代码和上个笔记中代码的不同,对比一下就明白了。

urlopen()返回的对象,可以使用read()进行读取,同样也可以使用geturl()方法、info()方法、getcode()方法。

详解Python3网络爬虫(二):利用urllib.urlopen向有道翻译发送数据获得翻译结果

geturl()返回的是一个url的字符串;

info()返回的是一些meta标记的元信息,包括一些服务器的信息;

getcode()返回的是HTTP的状态码,如果返回200表示请求成功。

关于META标签和HTTP状态码的内容可以自行百度百科,里面有很详细的介绍。

详解Python3网络爬虫(二):利用urllib.urlopen向有道翻译发送数据获得翻译结果

详解Python3网络爬虫(二):利用urllib.urlopen向有道翻译发送数据获得翻译结果

了解到这些,我们就可以进行新一轮的测试,新建文件名urllib_test04.py,编写如下代码:

# -*- coding: UTF-8 -*-
from urllib import request

if __name__ == "__main__":
  req = request.Request("http://fanyi.baidu.com/")
  response = request.urlopen(req)
  print("geturl打印信息:%s"%(response.geturl()))
  print('**********************************************')
  print("info打印信息:%s"%(response.info()))
  print('**********************************************')
  print("getcode打印信息:%s"%(response.getcode()))

可以得到如下运行结果:

详解Python3网络爬虫(二):利用urllib.urlopen向有道翻译发送数据获得翻译结果

二、urlopen的data参数

我们可以使用data参数,向服务器发送数据。根据HTTP规范,GET用于信息获取,POST是向服务器提交数据的一种请求,再换句话说:

从客户端向服务器提交数据使用POST;

从服务器获得数据到客户端使用GET(GET也可以提交,暂不考虑)。

如果没有设置urlopen()函数的data参数,HTTP请求采用GET方式,也就是我们从服务器获取信息,如果我们设置data参数,HTTP请求采用POST方式,也就是我们向服务器传递数据。

data参数有自己的格式,它是一个基于application/x-www.form-urlencoded的格式,具体格式我们不用了解, 因为我们可以使用urllib.parse.urlencode()函数将字符串自动转换成上面所说的格式。

三、发送data实例

向有道翻译发送data,得到翻译结果。

1.打开有道翻译界面,如下图所示:

详解Python3网络爬虫(二):利用urllib.urlopen向有道翻译发送数据获得翻译结果

2.鼠标右键检查,也就是审查元素,如下图所示:

详解Python3网络爬虫(二):利用urllib.urlopen向有道翻译发送数据获得翻译结果

3.选择右侧出现的Network,如下图所示:

详解Python3网络爬虫(二):利用urllib.urlopen向有道翻译发送数据获得翻译结果

4.在左侧输入翻译内容,输入Jack,如下图所示:

详解Python3网络爬虫(二):利用urllib.urlopen向有道翻译发送数据获得翻译结果

5.点击自动翻译按钮,我们就可以看到右侧出现的内容,如下图所示:

详解Python3网络爬虫(二):利用urllib.urlopen向有道翻译发送数据获得翻译结果

6.点击上图红框中的内容,查看它的信息,如下图所示:

详解Python3网络爬虫(二):利用urllib.urlopen向有道翻译发送数据获得翻译结果

详解Python3网络爬虫(二):利用urllib.urlopen向有道翻译发送数据获得翻译结果

7.记住这些信息,这是我们一会儿写程序需要用到的。

新建文件translate_test.py,编写如下代码:

# -*- coding: UTF-8 -*-
from urllib import request
from urllib import parse
import json

if __name__ == "__main__":
  #对应上图的Request URL
  Request_URL = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=https://www.baidu.com/link'
  #创建Form_Data字典,存储上图的Form Data
  Form_Data = {}
  Form_Data['type'] = 'AUTO'
  Form_Data['i'] = 'Jack'
  Form_Data['doctype'] = 'json'
  Form_Data['xmlVersion'] = '1.8'
  Form_Data['keyfrom'] = 'fanyi.web'
  Form_Data['ue'] = 'ue:UTF-8'
  Form_Data['action'] = 'FY_BY_CLICKBUTTON'
  #使用urlencode方法转换标准格式
  data = parse.urlencode(Form_Data).encode('utf-8')
  #传递Request对象和转换完格式的数据
  response = request.urlopen(Request_URL,data)
  #读取信息并解码
  html = response.read().decode('utf-8')
  #使用JSON
  translate_results = json.loads(html)
  #找到翻译结果
  translate_results = translate_results['translateResult'][0][0]['tgt']
  #打印翻译信息
  print("翻译的结果是:%s" % translate_results)

这样我们就可以查看翻译的结果了,如下图所示:

详解Python3网络爬虫(二):利用urllib.urlopen向有道翻译发送数据获得翻译结果

JSON是一种轻量级的数据交换格式,我们需要从爬取到的内容中找到JSON格式的数据,这里面保存着我们想要的翻译结果,再将得到的JSON格式的翻译结果进行解析,得到我们最终想要的样子:杰克。

以上所述是小编给大家介绍的Python3网络爬虫(二):利用urllib.urlopen向有道翻译发送数据获得翻译结果详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
pytyon 带有重复的全排列
Aug 13 Python
python为tornado添加recaptcha验证码功能
Feb 26 Python
使用Python脚本在Linux下实现部分Bash Shell的教程
Apr 17 Python
在Python的Django框架中使用通用视图的方法
Jul 21 Python
使用python3.5仿微软记事本notepad
Jun 15 Python
python读取二进制mnist实例详解
May 31 Python
Python中扩展包的安装方法详解
Jun 14 Python
python 显示数组全部元素的方法
Apr 19 Python
Python Learning 列表的更多操作及示例代码
Aug 22 Python
Mysql数据库反向生成Django里面的models指令方式
May 18 Python
Python数据可视化实现多种图例代码详解
Jul 14 Python
如何利用pygame实现打飞机小游戏
May 30 Python
python对象与json相互转换的方法
May 07 #Python
python使用threading.Condition交替打印两个字符
May 07 #Python
python实现银联支付和支付宝支付接入
May 07 #Python
详解Python 爬取13个旅游城市,告诉你五一大家最爱去哪玩?
May 07 #Python
Scrapy-Redis结合POST请求获取数据的方法示例
May 07 #Python
Python数据类型之Set集合实例详解
May 07 #Python
Python数据类型之Dict字典实例详解
May 07 #Python
You might like
第十四节 命名空间 [14]
2006/10/09 PHP
使用php重新实现PHP脚本引擎内置函数
2007/03/06 PHP
PHP框架Swoole定时器Timer特性分析
2014/08/19 PHP
ThinkPHP文件上传实例教程
2014/08/22 PHP
PHP curl模拟登录带验证码的网站
2015/11/30 PHP
记录一次排查PHP脚本执行卡住的问题
2016/12/27 PHP
YII框架常用技巧总结
2019/04/27 PHP
JS中判断JSON数据是否存在某字段的方法
2014/03/07 Javascript
jquery库文件略庞大用纯js替换jquery的方法
2014/08/12 Javascript
javascript中的previousSibling和nextSibling的正确用法
2015/09/16 Javascript
基于JavaScript实现Tab选项卡切换效果
2016/11/24 Javascript
vuejs2.0实现一个简单的分页示例
2017/02/22 Javascript
AngularJS 最常用的八种功能(基础知识)
2017/06/26 Javascript
基于input框覆盖掉数字英文的实例讲解
2017/07/21 Javascript
JS中的Replace()传入函数时的用法详解
2017/09/11 Javascript
vue如何判断dom的class
2018/04/26 Javascript
基于node搭建服务器,写接口,调接口,跨域的实例
2018/05/13 Javascript
JavaScript高级函数应用之分时函数实例分析
2018/08/03 Javascript
100行代码实现一个vue分页组功能
2018/11/06 Javascript
微信小程序实现通过js操作wxml的wxss属性示例
2018/12/06 Javascript
浅谈vue生命周期共有几个阶段?分别是什么?
2020/08/07 Javascript
JavaScript实现点击自制菜单效果
2021/02/02 Javascript
[02:51]2014DOTA2国际邀请赛 IG战队官方纪录片
2014/07/21 DOTA
Python完全新手教程
2007/02/08 Python
Python实现的简单读写csv文件操作示例
2018/07/12 Python
使用python telnetlib批量备份交换机配置的方法
2019/07/25 Python
Python同时处理多个异常的方法
2020/07/28 Python
css3圆角样式分享自定义按钮样式
2013/12/27 HTML / CSS
伯利陶器:Burleigh Pottery
2018/01/03 全球购物
德国亚马逊官方网站:Amazon.de
2020/11/15 全球购物
宣传保护环境的公益广告词
2014/03/13 职场文书
会议欢迎标语
2014/06/30 职场文书
大学新生军训自我鉴定
2014/09/18 职场文书
父母教会我观后感
2015/06/17 职场文书
利用html+css实现菜单栏缓慢下拉效果的示例代码
2021/03/30 HTML / CSS
vue基于Teleport实现Modal组件
2021/05/31 Vue.js