python 如何用urllib与服务端交互(发送和接收数据)


Posted in Python onMarch 04, 2021

urllib是Python3中内置的HTTP请求库,不需要单独安装,官方文档链接如下:https://docs.python.org/3/library/urllib.html从官方文档可以看出,urllib包含4个模块,如图所示。

python 如何用urllib与服务端交互(发送和接收数据)

这4个模块的功能描述如下:

  • request:最基本的HTTP请求模块,可以用来发送HTTP请求,并接收服务端的响应数据。这个过程就像在浏览器地址栏输入URL,然后按Enter键一样。
  • error:异常处理模块,如果出现请求错误,我们可以捕获这些异常,然后根据实际情况,或者进行重试,或者直接忽略,或进行其他操作。
  • parse:工具模块,提供了很多处理URL的API,如拆分、解析、合并等。
  • robotparser:主要用来识别网站的robots.txt文件,然后判断哪些网站可以抓取,哪些网站不可以抓取。

本文主要介绍如何通过urllib发送HTTP GET请求和HTTP POST请求,并获取相应数据。

1. 用urlopen函数发送HTTP GET请求

urllib最基本的一个功能就是向服务端发送HTTP请求,然后接收服务端返回的响应数据。这个功能只需要通过urlopen函数就可以搞定。例如,下面的代码向百度发送HTTP GET请求,然后输出服务端的响应结果。

import urllib.request 
response=urllib.request.urlopen('https://baidu.com') 
# 将服务端的响应数据用utf-8解码 
print(response.read().decode('utf-8')) 

运行结果如图 所示。

python 如何用urllib与服务端交互(发送和接收数据)

我们可以看到,使用urllib与服务端交互是非常容易的,除了import语句外,真正与业务有关的代码只有2行,就完成了整个与服务端交互的过程。其实这个过程已经完成了爬虫的第一步,就是从服务端获取HTML代码,然后就可以利用各种分析库对HTML代码进行解析,提取出我们感兴趣的URL、文本、图像等。其实urlopen函数返回的是一个对象,而read是这个对象的一个方法,可以利用type方法输出这个对象的类型,当我们知道了对象类型后,就可以很容易知道这个对象中有哪些API,然后调用它们。

import urllib.request 
response=urllib.request.urlopen('https://baidu.com') 
print(type(response)) 

这段代码会输出如下的结果:

<class 'http.client.HTTPResponse'> 

现在我们了解到,urlopen函数返回的是HTTPResponse类型的对象,主要包含read、getheader、getheaders等方法,以及msg、version、status、debuglevel、closed等属性。下面是一个实际的案例,用来演示了HTTPResponse对象中主要的方法和属性的用法。

import urllib.request 
# 向京东商城发送HTTP GET请求,urlopen函数即可以使用http,也可以使用https 
response=urllib.request.urlopen('https://www.jd.com') 
# 输出urlopen函数返回值的数据类型 
print('response的类型:',type(response)) 
# 输出响应状态码、响应消息和HTTP版本 
print('status:',response.status,' msg:',response.msg,' version:', response.version) 
# 输出所有的响应头信息 
print('headers:',response.getheaders()) 
# 输出名为Content-Type的响应头信息 
print('headers.Content-Type',response.getheader('Content-Type')) 
# 输出京东商城首页所有的HTML代码(经过utf-8解码) 
print(response.read().decode('utf-8')) 

运行结果如图所示。

python 如何用urllib与服务端交互(发送和接收数据)

2. 用urlopen函数发送HTTP POST请求

urlopen函数默认情况下发送的是HTTP GET请求,如果要发送HTTP POST请求,需要使用data命名参数,该参数是bytes类型,需要用bytes类将字符串形式的数据转换为bytes类型。下面的例子

下面的例子向http://httpbin.org/post发送HTTP POST请求,并输出返回结果。

import urllib.request 
# 将表单数据转换为bytes类型,用utf-8编码 
data=bytes(urllib.parse.urlencode({'name':'Bill','age':30}),encoding='utf-8') 
# 提交HTTP POST请求 
response=urllib.request.urlopen('http://httpbin.org/post',data=data) 
# 输出响应数据 
print(response.read().decode('utf-8')) 

这段代码中一开始提供了一个字典形式的表单数据,然后使用urlencode方法将字典类型的表单转换为字符串形式的表单,接下来将字符串形式的表单按utf-8编码转换为bytes类型,这就是要传给urlopen函数的data命名参数的值,要注意,一旦指定了data命名参数,urlopen函数就会向服务端提交HTTP POST请求,这里并不需要显式指定要提交的是POST请求。

本例将HTTP POST请求提交给了http://httpbin.org/post,这是一个用于测试HTTP POST请求的网址,如果请求成功,服务端会将HTTP POST请求信息原封不动地返回给客户端。运行结果如图所示。

python 如何用urllib与服务端交互(发送和接收数据)

以上就是python 如何用urllib与服务端交互(发送和接收数据)的详细内容,更多关于python 用urllib与服务端交互的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python实现的百度站长自动URL提交小工具
Jun 27 Python
python实现每次处理一个字符的三种方法
Oct 09 Python
Python Tkinter GUI编程入门介绍
Mar 10 Python
python 按不同维度求和,最值,均值的实例
Jun 28 Python
python学习之hook钩子的原理和使用
Oct 25 Python
用xpath获取指定标签下的所有text的实例
Jan 02 Python
Jupyter Notebook 文件默认目录的查看以及更改步骤
Apr 14 Python
jupyter notebook tensorflow打印device信息实例
Apr 20 Python
基于TensorFlow的CNN实现Mnist手写数字识别
Jun 17 Python
django rest framework使用django-filter用法
Jul 15 Python
python利用platform模块获取系统信息
Oct 09 Python
一篇文章带你搞定Ubuntu中打开Pycharm总是卡顿崩溃
Nov 02 Python
python 求两个向量的顺时针夹角操作
Mar 04 #Python
python 制作磁力搜索工具
Mar 04 #Python
python抢购软件/插件/脚本附完整源码
Mar 04 #Python
Python 求向量的余弦值操作
Mar 04 #Python
django使用多个数据库的方法实例
Mar 04 #Python
Python使用paramiko连接远程服务器执行Shell命令的实现
Mar 04 #Python
Python 调用C++封装的进一步探索交流
Mar 04 #Python
You might like
php获取通过http协议post提交过来xml数据及解析xml
2012/12/16 PHP
PHP二维数组分页2种实现方法解析
2020/07/09 PHP
Nigma vs Alliance BO5 第三场2.14
2021/03/10 DOTA
图片自动缩小的js代码,用以防止图片撑破页面
2007/03/12 Javascript
用javascript自动显示最后更新时间
2007/03/15 Javascript
Convert Seconds To Hours
2007/06/16 Javascript
csdn 博客的css样式 v3
2009/02/24 Javascript
jquery 获取dom固定元素 添加样式的简单实例
2014/02/04 Javascript
可恶的ie8提示缺少id未定义
2014/03/20 Javascript
jQuery Migrate 1.1.0 Released 注意事项
2014/06/14 Javascript
js实现正方形颜色从下往上升的效果
2014/08/04 Javascript
js和C# 时间日期格式转换的简单实例
2016/05/28 Javascript
AngularJS 依赖注入详解及示例代码
2016/08/17 Javascript
详解堆的javascript实现方法
2016/11/29 Javascript
安装vue-cli报错 -4058 的解决方法
2017/10/19 Javascript
vue实现未登录跳转到登录页面的方法
2018/07/17 Javascript
详解微信小程序-扫一扫 wx.scanCode() 扫码大变身
2019/04/30 Javascript
layui 解决form表单点击无反应的问题
2019/10/25 Javascript
JS实现秒杀倒计时特效
2020/01/02 Javascript
js实现二级联动简单实例
2020/01/11 Javascript
vue路由缓存的几种实现方式小结
2020/02/02 Javascript
解决VUE项目localhost端口服务器拒绝连接,只能用127.0.0.1的问题
2020/08/14 Javascript
[07:40]DOTA2每周TOP10 精彩击杀集锦vol.4
2014/06/25 DOTA
机器学习python实战之决策树
2017/11/01 Python
对python程序内存泄漏调试的记录
2018/06/11 Python
python+selenium打印当前页面的titl和url方法
2018/06/22 Python
使用python采集脚本之家电子书资源并自动下载到本地的实例脚本
2018/10/23 Python
python实现画出e指数函数的图像
2019/11/21 Python
CSS3中的opacity属性使用教程
2015/08/19 HTML / CSS
瑞士国际航空官网:SWISS
2016/07/21 全球购物
日本最大的眼镜购物网站:Oh My Glasses
2016/11/13 全球购物
求职推荐信
2013/10/28 职场文书
单位实习鉴定评语
2015/01/04 职场文书
教师节寄语2015
2015/03/23 职场文书
幼儿园教学反思范文
2016/03/02 职场文书
给numpy.array增加维度的超简单方法
2021/06/02 Python