python 如何用urllib与服务端交互(发送和接收数据)


Posted in Python onMarch 04, 2021

urllib是Python3中内置的HTTP请求库,不需要单独安装,官方文档链接如下:https://docs.python.org/3/library/urllib.html从官方文档可以看出,urllib包含4个模块,如图所示。

python 如何用urllib与服务端交互(发送和接收数据)

这4个模块的功能描述如下:

  • request:最基本的HTTP请求模块,可以用来发送HTTP请求,并接收服务端的响应数据。这个过程就像在浏览器地址栏输入URL,然后按Enter键一样。
  • error:异常处理模块,如果出现请求错误,我们可以捕获这些异常,然后根据实际情况,或者进行重试,或者直接忽略,或进行其他操作。
  • parse:工具模块,提供了很多处理URL的API,如拆分、解析、合并等。
  • robotparser:主要用来识别网站的robots.txt文件,然后判断哪些网站可以抓取,哪些网站不可以抓取。

本文主要介绍如何通过urllib发送HTTP GET请求和HTTP POST请求,并获取相应数据。

1. 用urlopen函数发送HTTP GET请求

urllib最基本的一个功能就是向服务端发送HTTP请求,然后接收服务端返回的响应数据。这个功能只需要通过urlopen函数就可以搞定。例如,下面的代码向百度发送HTTP GET请求,然后输出服务端的响应结果。

import urllib.request 
response=urllib.request.urlopen('https://baidu.com') 
# 将服务端的响应数据用utf-8解码 
print(response.read().decode('utf-8')) 

运行结果如图 所示。

python 如何用urllib与服务端交互(发送和接收数据)

我们可以看到,使用urllib与服务端交互是非常容易的,除了import语句外,真正与业务有关的代码只有2行,就完成了整个与服务端交互的过程。其实这个过程已经完成了爬虫的第一步,就是从服务端获取HTML代码,然后就可以利用各种分析库对HTML代码进行解析,提取出我们感兴趣的URL、文本、图像等。其实urlopen函数返回的是一个对象,而read是这个对象的一个方法,可以利用type方法输出这个对象的类型,当我们知道了对象类型后,就可以很容易知道这个对象中有哪些API,然后调用它们。

import urllib.request 
response=urllib.request.urlopen('https://baidu.com') 
print(type(response)) 

这段代码会输出如下的结果:

<class 'http.client.HTTPResponse'> 

现在我们了解到,urlopen函数返回的是HTTPResponse类型的对象,主要包含read、getheader、getheaders等方法,以及msg、version、status、debuglevel、closed等属性。下面是一个实际的案例,用来演示了HTTPResponse对象中主要的方法和属性的用法。

import urllib.request 
# 向京东商城发送HTTP GET请求,urlopen函数即可以使用http,也可以使用https 
response=urllib.request.urlopen('https://www.jd.com') 
# 输出urlopen函数返回值的数据类型 
print('response的类型:',type(response)) 
# 输出响应状态码、响应消息和HTTP版本 
print('status:',response.status,' msg:',response.msg,' version:', response.version) 
# 输出所有的响应头信息 
print('headers:',response.getheaders()) 
# 输出名为Content-Type的响应头信息 
print('headers.Content-Type',response.getheader('Content-Type')) 
# 输出京东商城首页所有的HTML代码(经过utf-8解码) 
print(response.read().decode('utf-8')) 

运行结果如图所示。

python 如何用urllib与服务端交互(发送和接收数据)

2. 用urlopen函数发送HTTP POST请求

urlopen函数默认情况下发送的是HTTP GET请求,如果要发送HTTP POST请求,需要使用data命名参数,该参数是bytes类型,需要用bytes类将字符串形式的数据转换为bytes类型。下面的例子

下面的例子向http://httpbin.org/post发送HTTP POST请求,并输出返回结果。

import urllib.request 
# 将表单数据转换为bytes类型,用utf-8编码 
data=bytes(urllib.parse.urlencode({'name':'Bill','age':30}),encoding='utf-8') 
# 提交HTTP POST请求 
response=urllib.request.urlopen('http://httpbin.org/post',data=data) 
# 输出响应数据 
print(response.read().decode('utf-8')) 

这段代码中一开始提供了一个字典形式的表单数据,然后使用urlencode方法将字典类型的表单转换为字符串形式的表单,接下来将字符串形式的表单按utf-8编码转换为bytes类型,这就是要传给urlopen函数的data命名参数的值,要注意,一旦指定了data命名参数,urlopen函数就会向服务端提交HTTP POST请求,这里并不需要显式指定要提交的是POST请求。

本例将HTTP POST请求提交给了http://httpbin.org/post,这是一个用于测试HTTP POST请求的网址,如果请求成功,服务端会将HTTP POST请求信息原封不动地返回给客户端。运行结果如图所示。

python 如何用urllib与服务端交互(发送和接收数据)

以上就是python 如何用urllib与服务端交互(发送和接收数据)的详细内容,更多关于python 用urllib与服务端交互的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python 文件与目录操作
Dec 24 Python
Python两个整数相除得到浮点数值的方法
Mar 18 Python
python实现向ppt文件里插入新幻灯片页面的方法
Apr 28 Python
Python和C/C++交互的几种方法总结
May 11 Python
EM算法的python实现的方法步骤
Jan 02 Python
解决python中遇到字典里key值为None的情况,取不出来的问题
Oct 17 Python
pyqt 实现QlineEdit 输入密码显示成圆点的方法
Jun 24 Python
Python使用itchat模块实现简单的微信控制电脑功能示例
Aug 26 Python
使用python接受tgam的脑波数据实例
Apr 09 Python
django的autoreload机制实现
Jun 03 Python
Pythonic版二分查找实现过程原理解析
Aug 11 Python
整理Python中常用的conda命令操作
Jun 15 Python
python 求两个向量的顺时针夹角操作
Mar 04 #Python
python 制作磁力搜索工具
Mar 04 #Python
python抢购软件/插件/脚本附完整源码
Mar 04 #Python
Python 求向量的余弦值操作
Mar 04 #Python
django使用多个数据库的方法实例
Mar 04 #Python
Python使用paramiko连接远程服务器执行Shell命令的实现
Mar 04 #Python
Python 调用C++封装的进一步探索交流
Mar 04 #Python
You might like
全国FM电台频率大全 - 24 贵州省
2020/03/11 无线电
用PHP生成html分页列表的代码
2007/03/18 PHP
PHP实现的博客欢迎提示功能(很特别哦)
2014/06/05 PHP
PHP网页游戏学习之Xnova(ogame)源码解读(九)
2014/06/24 PHP
php判断GIF图片是否为动画的方法
2020/09/04 PHP
php实现和c#一致的DES加密解密实例
2017/07/24 PHP
CI框架简单分页类用法示例
2020/06/06 PHP
限制复选框的最大可选数
2006/07/01 Javascript
jquery 表单进行客户端验证demo
2009/08/24 Javascript
firefox火狐浏览器与与ie兼容的2个问题总结
2010/07/20 Javascript
jquery获取复选框被选中的值
2014/03/22 Javascript
ajaxFileUpload.js插件支持多文件上传的方法
2014/09/02 Javascript
js实现滚动条滚动到某个位置便自动定位某个tr
2021/01/20 Javascript
Vue.js每天必学之Class与样式绑定
2016/09/05 Javascript
vue.js中$watch的用法示例
2016/10/04 Javascript
基于DOM节点删除之empty和remove的区别(详解)
2017/09/11 Javascript
vue + element-ui实现简洁的导入导出功能
2017/12/22 Javascript
JavaScript引用类型Function实例详解
2018/08/09 Javascript
学习React中ref的两个demo示例
2018/08/14 Javascript
详解Vue项目部署遇到的问题及解决方案
2019/01/11 Javascript
javascript实现贪吃蛇经典游戏
2020/04/10 Javascript
vue 获取url里参数的两种方法小结
2020/11/12 Javascript
利用Python获取操作系统信息实例
2016/09/02 Python
pyqt5自定义信号实例解析
2018/01/31 Python
Python selenium抓取虎牙短视频代码实例
2020/03/02 Python
Django框架获取form表单数据方式总结
2020/04/22 Python
html5 canvas-2.用canvas制作一个猜字母的小游戏
2013/01/07 HTML / CSS
html5 css3网站菜单实现代码
2013/12/23 HTML / CSS
美国隐形眼镜销售网站:ContactsDirect
2017/10/28 全球购物
旅游管理毕业生自荐信
2013/11/05 职场文书
商务会议邀请函
2014/01/09 职场文书
英语专业职业生涯规划范文
2014/03/05 职场文书
电子装配专业毕业生求职信
2014/04/23 职场文书
预备党员期盼十八届四中全会召开思想汇报
2014/10/17 职场文书
2014党的群众路线教育实践活动总结材料
2014/10/31 职场文书
MySQL去除重叠时间求时间差和的实现
2021/08/23 MySQL