python urllib和urllib3知识点总结


Posted in Python onFebruary 08, 2021

在python数据请求中,我们有一个标准库专门处理这方面的问题,那就是urllib库。在不同的python版本中,urllib也有着版本上的变化。本篇就urllib和urllib3这两种库为大家带来介绍,分析其基本的用法、不同点、使用注意和实例,希望能对大家在数据请求的学习有所帮助。

1、说明

在可供使用的网络库中,urllib和urllib3可能是投入产出比最高的两个。它们能让你通过网络访问文件,就像这些文件位于你的计算机中一样。只需一个简单的函数调用,就几乎可将统一资源定位符(URL)可指向的任何动作作为程序的输入。想想这种功能与模块 re 结合起来使用都能做什么吧!你可下载网页、从中提取信息并自动生成研究报告。

2、不同点

模块urllib 和 urllib3的功能差不多,但 urllib3 更好一些。对于简单的下载,urllib 绰绰有余。如果要实现 HTTP 身份验证或 Cookie,抑或编写扩展来处理自己的协议,urllib3 可能是更好的选择。

3、使用注意

要在没有联网的情况下尝试使用模块 urllib,可使用以 file: 打头的 URL 访问本地文件,如 file:c:\text\somefile.txt(别忘了对反斜杠进行转义)。

4、实例

几乎可以像打开本地文件一样打开远程文件,差别是只能使用读取模式,以及使用模块 urllib.request 中的函数 urlopen,而不是 open(或 file)。

>>> from urllib.request import urlopen
>>> webpage = urlopen('http://www.python.org')

如果连接到了网络,变量 webpage 将包含一个类似于文件的对象,这个对象与网页 https://www.python.org/ 相关联

内容扩展:

urllib

它是 Python 内置的 HTTP 请求库,也就是说我们不需要额外安装即可使用,基本上涵盖了基础的网络请求功能,它包含四个模块:

  • urllib.request 用于打开和读取url
  • urllib.error 用于处理前面request引起的异常
  • urllib.parse 用于解析url
  • urllib.robotparser 用于解析robots.txt文件

urllib.request

urllib中,request这个模块主要负责构造和发起网络请求,并在其中加入Headers、Proxy等。

利用它可以模拟浏览器的一个请求发起过程

到此这篇关于python urllib和urllib3知识点总结的文章就介绍到这了,更多相关python urllib和urllib3的内容详解内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python基础入门详解(文件输入/输出 内建类型 字典操作使用方法)
Dec 08 Python
使用pandas将numpy中的数组数据保存到csv文件的方法
Jun 14 Python
基于Python开发chrome插件的方法分析
Jul 07 Python
python 对key为时间的dict排序方法
Oct 17 Python
Python读取系统文件夹内所有文件并统计数量的方法
Oct 23 Python
使用Django简单编写一个XSS平台的方法步骤
Mar 25 Python
聊聊python里如何用Borg pattern实现的单例模式
Jun 06 Python
使用python serial 获取所有的串口名称的实例
Jul 02 Python
Python编写打字训练小程序
Sep 26 Python
python使用html2text库实现从HTML转markdown的方法详解
Feb 21 Python
python生成13位或16位时间戳以及反向解析时间戳的实例
Mar 03 Python
python 多进程和协程配合使用写入数据
Oct 30 Python
Python3.9.1中使用match方法详解
Feb 08 #Python
python读取excel数据并且画图的实现示例
Feb 08 #Python
Python爬取某平台短视频的方法
Feb 08 #Python
利用Python批量识别电子账单数据的方法
Feb 08 #Python
Python命令行参数argv和argparse该如何使用
Feb 08 #Python
python 实现Requests发送带cookies的请求
Feb 08 #Python
PyCharm2020.3.2安装超详细教程
Feb 08 #Python
You might like
2020年4月新番动漫目录 官方宣布4月播出的作品一览
2020/03/08 日漫
php定时计划任务的实现方法详解
2013/06/06 PHP
PHP递归创建多级目录
2015/11/05 PHP
PHP+ajax实现获取新闻数据简单示例
2018/05/08 PHP
IE与FireFox的兼容性问题分析
2007/04/22 Javascript
[Web]防止用户复制页面内容和另存页面的方法
2009/02/06 Javascript
js当一个变量为函数时 应该注意的一点细节小结
2011/12/29 Javascript
下载文件个别浏览器文件名乱码解决办法
2013/03/19 Javascript
js Array对象的扩展函数代码
2013/04/24 Javascript
基于jQuery.Validate验证库知识点的详解
2013/04/26 Javascript
Jquery和JS用外部变量获取Ajax返回的参数值的方法实例(超简单)
2013/06/17 Javascript
简单实用jquery版三级联动select示例
2013/07/04 Javascript
jQuery实现类似滑动门切换效果的层切换
2013/09/23 Javascript
浅谈Vue网络请求之interceptors实际应用
2018/02/28 Javascript
NodeJS模块与ES6模块系统语法及注意点详解
2019/01/04 NodeJs
js实现3D旋转相册
2020/08/02 Javascript
JavaScript常用进制转换及位运算实例解析
2020/10/14 Javascript
[01:09:20]NB vs NAVI Supermajor小组赛A组 BO3 第二场 6.2
2018/06/03 DOTA
浅析python实现scrapy定时执行爬虫
2018/03/04 Python
python操作redis方法总结
2018/06/06 Python
使用python判断jpeg图片的完整性实例
2019/06/10 Python
python/Matplotlib绘制复变函数图像教程
2019/11/21 Python
python将时分秒转换成秒的实例
2019/12/07 Python
如何使用python的ctypes调用医保中心的dll动态库下载医保中心的账单
2020/05/24 Python
canvas进阶之贝塞尔公式推导与物体跟随复杂曲线的轨迹运动
2018/01/10 HTML / CSS
法院实习人员自我鉴定
2013/09/26 职场文书
自荐信怎么写好
2013/11/11 职场文书
安全资料员岗位职责
2013/12/14 职场文书
材料会计岗位职责
2014/03/06 职场文书
会计岗位职责范本
2014/03/07 职场文书
人事部经理岗位职责
2014/03/07 职场文书
《雨点儿》教学反思
2014/04/14 职场文书
保护环境倡议书500字
2014/05/19 职场文书
杜甫草堂导游词
2015/02/03 职场文书
捐款通知怎么写
2015/04/24 职场文书
2019最新版股权转让及委托持股协议书范本
2019/08/07 职场文书