python urllib和urllib3知识点总结


Posted in Python onFebruary 08, 2021

在python数据请求中,我们有一个标准库专门处理这方面的问题,那就是urllib库。在不同的python版本中,urllib也有着版本上的变化。本篇就urllib和urllib3这两种库为大家带来介绍,分析其基本的用法、不同点、使用注意和实例,希望能对大家在数据请求的学习有所帮助。

1、说明

在可供使用的网络库中,urllib和urllib3可能是投入产出比最高的两个。它们能让你通过网络访问文件,就像这些文件位于你的计算机中一样。只需一个简单的函数调用,就几乎可将统一资源定位符(URL)可指向的任何动作作为程序的输入。想想这种功能与模块 re 结合起来使用都能做什么吧!你可下载网页、从中提取信息并自动生成研究报告。

2、不同点

模块urllib 和 urllib3的功能差不多,但 urllib3 更好一些。对于简单的下载,urllib 绰绰有余。如果要实现 HTTP 身份验证或 Cookie,抑或编写扩展来处理自己的协议,urllib3 可能是更好的选择。

3、使用注意

要在没有联网的情况下尝试使用模块 urllib,可使用以 file: 打头的 URL 访问本地文件,如 file:c:\text\somefile.txt(别忘了对反斜杠进行转义)。

4、实例

几乎可以像打开本地文件一样打开远程文件,差别是只能使用读取模式,以及使用模块 urllib.request 中的函数 urlopen,而不是 open(或 file)。

>>> from urllib.request import urlopen
>>> webpage = urlopen('http://www.python.org')

如果连接到了网络,变量 webpage 将包含一个类似于文件的对象,这个对象与网页 https://www.python.org/ 相关联

内容扩展:

urllib

它是 Python 内置的 HTTP 请求库,也就是说我们不需要额外安装即可使用,基本上涵盖了基础的网络请求功能,它包含四个模块:

  • urllib.request 用于打开和读取url
  • urllib.error 用于处理前面request引起的异常
  • urllib.parse 用于解析url
  • urllib.robotparser 用于解析robots.txt文件

urllib.request

urllib中,request这个模块主要负责构造和发起网络请求,并在其中加入Headers、Proxy等。

利用它可以模拟浏览器的一个请求发起过程

到此这篇关于python urllib和urllib3知识点总结的文章就介绍到这了,更多相关python urllib和urllib3的内容详解内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python选择排序算法的实现代码
Nov 21 Python
从头学Python之编写可执行的.py文件
Nov 28 Python
Python3实现转换Image图片格式
Jun 21 Python
详解Python 函数如何重载?
Apr 23 Python
python儿童学游戏编程知识点总结
Jun 03 Python
Python用字典构建多级菜单功能
Jul 11 Python
Python解析json代码实例解析
Nov 25 Python
python 实现rolling和apply函数的向下取值操作
Jun 08 Python
python入门:argparse浅析 nargs='+'作用
Jul 12 Python
python根据用户需求输入想爬取的内容及页数爬取图片方法详解
Aug 03 Python
Python3合并两个有序数组代码实例
Aug 11 Python
用python制作个音乐下载器
Jan 30 Python
Python3.9.1中使用match方法详解
Feb 08 #Python
python读取excel数据并且画图的实现示例
Feb 08 #Python
Python爬取某平台短视频的方法
Feb 08 #Python
利用Python批量识别电子账单数据的方法
Feb 08 #Python
Python命令行参数argv和argparse该如何使用
Feb 08 #Python
python 实现Requests发送带cookies的请求
Feb 08 #Python
PyCharm2020.3.2安装超详细教程
Feb 08 #Python
You might like
PHP 数组入门教程小结
2009/05/20 PHP
Linux下将excel数据导入到mssql数据库中的方法
2010/02/08 PHP
php 连接mysql连接被重置的解决方法
2011/02/15 PHP
用PHP的超级变量$_POST获取HTML表单(HTML Form) 数据
2011/05/07 PHP
JavaScript判断字符长度、数字、Email、电话等常用判断函数分享
2015/04/01 Javascript
javascript创建含数字字母的随机字符串方法总结
2016/08/01 Javascript
Form表单按回车自动提交表单的实现方法
2016/11/18 Javascript
详解webpack3如何正确引用并使用jQuery库
2017/08/26 jQuery
详解react-native WebView 返回处理(非回调方法可解决)
2018/02/27 Javascript
浅谈JS对象添加getter与setter的5种方法
2018/06/09 Javascript
vue学习笔记之过滤器的基本使用方法实例分析
2020/02/01 Javascript
Vue过渡效果之CSS过渡详解(结合transition,animation,animate.css)
2020/02/05 Javascript
React中获取数据的3种方法及优缺点
2020/02/18 Javascript
浅谈vue中$bus的使用和涉及到的问题
2020/07/28 Javascript
python调用java模块SmartXLS和jpype修改excel文件的方法
2015/04/28 Python
Python中用altzone()方法处理时区的教程
2015/05/22 Python
Python使用turtule画五角星的方法
2015/07/09 Python
详解使用 pyenv 管理多个版本 python 环境
2017/10/19 Python
Python数据结构之哈夫曼树定义与使用方法示例
2018/04/22 Python
python3实现zabbix告警推送钉钉的示例
2019/02/20 Python
利用python实现对web服务器的目录探测的方法
2019/02/26 Python
基于Python 中函数的 收集参数 机制
2019/12/21 Python
Selenium之模拟登录铁路12306的示例代码
2020/07/31 Python
CSS3实现全景图特效示例代码
2018/03/26 HTML / CSS
HTML5 3D书本翻页动画的实现示例
2019/08/28 HTML / CSS
DHC中国官方购物网站:日本通信销售No.1化妆品
2016/08/20 全球购物
德国高性价比网上药店:medpex
2017/07/09 全球购物
Speedo速比涛法国官方网站:泳衣、泳镜、泳帽、泳裤
2019/07/30 全球购物
应届毕业生应聘自荐信
2013/12/07 职场文书
教师业务学习制度
2014/01/25 职场文书
小学生打架检讨书
2014/01/26 职场文书
调解协议书
2014/04/16 职场文书
英语教研活动总结
2014/07/02 职场文书
交通安全横幅标语
2014/10/07 职场文书
2014年生产部工作总结
2014/12/17 职场文书
关于环保的宣传稿
2015/07/23 职场文书