Python urllib.request对象案例解析


Posted in Python onMay 11, 2020

刚刚接触爬虫,基础的东西得时时回顾才行,这么全面的帖子无论如何也得厚着脸皮转过来啊!

什么是 Urllib 库?

urllib 库 是 Python 内置的 HTTP 请求库。urllib 模块提供的上层接口,使访问 www 和 ftp 上的数据就像访问本地文件一样。

有以下几种模块:

1.urllib.request 请求模块

2. urllib.error 异常处理模块

3. urllib.parse url 解析模块

4. urllib.robotparser robots.txt 解析模块

Urllib 库下的几种模块基本使用如下:

urllib.request

关于 urllib.request: urllib.request 模块提供了最基本的构造 HTTP (或其他协议如 FTP)请求的方法,利用它可以模拟浏览器的一个请求发起过程。利用不同的协议去获取 URL 信息。它的某些接口能够处理基础认证 ( Basic Authenticaton) 、redirections (HTTP 重定向)、 Cookies (浏览器 Cookies)等情况。而这些接口是由 handlers 和 openers 对象提供的。

1.常用的方法有

  • read()==读取文件内容

  • geturl()==获取请求url

  • getheaders()==获取http请求头信息

  • getcode()==获取状态码

  • readlines()==获取一行

2.案例

#coding=utf-8
#import urllib.request
#=========response方法使用
#read()==读取文件内容
#geturl()==获取请求url
#getheaders()==获取http请求头信息
#getcode()==获取状态码
#readlines()==获取一行
#url="http://www.baidu.com";
#response = urllib.request.urlopen(url);
#=====案例1
# str = response.read().decode();#这样通过decode转换为utf8
# with open("baidu.html","w",encoding="utf8") as fp:
#   fp.write(str);
#=====案例2通过字节流写=默认通过read读取的是字节流
# with open("bai.html","wb") as fp:
#   fp.write(response.read()); 
#==使用字节流读取存图片
# image_url='https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=3772530225,1800402028&fm=26&gp=0.jpg';
# response = urllib.request.urlopen(image_url);
# with open("mv.jpg",'wb') as fp:
#   fp.write(response.read());
#案例3==使用内置函数读取图片
#image_url='https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=3772530225,1800402028&fm=26&gp=0.jpg';
#urllib.request.urlretrieve(image_url,"chun.jpg");

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python 自动提交和抓取网页
Jul 13 Python
用Python制作在地图上模拟瘟疫扩散的Gif图
Mar 31 Python
在Python中使用HTML模版的教程
Apr 29 Python
Python多线程下载文件的方法
Jul 10 Python
Python中的复制操作及copy模块中的浅拷贝与深拷贝方法
Jul 02 Python
基于python元祖与字典与集合的粗浅认识
Aug 23 Python
判断python对象是否可调用的三种方式及其区别详解
Jan 31 Python
为什么你还不懂得怎么使用Python协程
May 13 Python
解决pycharm不能自动补全第三方库的函数和属性问题
Mar 12 Python
150行python代码实现贪吃蛇游戏
Apr 24 Python
使用Python爬虫爬取小红书完完整整的全过程
Jan 19 Python
Python干货实战之八音符酱小游戏全过程详解
Oct 24 Python
python将dict中的unicode打印成中文实例
May 11 #Python
ansible-playbook实现自动部署KVM及安装python3的详细教程
May 11 #Python
Python转换字典成为对象,可以用"."方式访问对象属性实例
May 11 #Python
Python3自定义json逐层解析器代码
May 11 #Python
Python3自定义http/https请求拦截mitmproxy脚本实例
May 11 #Python
Python 找出出现次数超过数组长度一半的元素实例
May 11 #Python
Pycharm如何导入python文件及解决报错问题
May 10 #Python
You might like
PHP常用代码
2006/11/23 PHP
IIS6的PHP最佳配置方法
2007/03/19 PHP
Linux下将excel数据导入到mssql数据库中的方法
2010/02/08 PHP
探讨Smarty中如何获取数组的长度以及smarty调用php函数的详解
2013/06/20 PHP
[原创]CI(CodeIgniter)简单统计访问人数实现方法
2016/01/19 PHP
PHP使用curl_multi实现并发请求的方法示例
2018/04/29 PHP
PHP+MySQL实现输入页码跳转到指定页面功能示例
2018/06/01 PHP
JS实现图片预加载无需等待
2012/12/21 Javascript
页面右下角弹出提示框示例代码js版
2013/08/02 Javascript
js单例模式详解实例
2013/11/21 Javascript
javascript中传统事件与现代事件
2015/06/23 Javascript
分享两款带遮罩的jQuery弹出框
2015/12/30 Javascript
移动端横屏的JS代码(beta)
2016/05/16 Javascript
EasyUI Combobox设置默认值 获取text的方法
2016/11/28 Javascript
vue2.0父子组件间通信的实现方法
2017/04/19 Javascript
Vue-cli-webpack搭建斗鱼直播步骤详解
2017/11/17 Javascript
值得收藏的vuejs安装教程
2017/11/21 Javascript
vscode调试node.js的实现方法
2020/03/22 Javascript
Python装饰器的函数式编程详解
2015/02/27 Python
Python实现压缩与解压gzip大文件的方法
2016/09/18 Python
python数据清洗系列之字符串处理详解
2017/02/12 Python
关于Python 3中print函数的换行详解
2017/08/08 Python
基于DataFrame筛选数据与loc的用法详解
2018/05/18 Python
Python中捕获键盘的方式详解
2019/03/28 Python
python 图片去噪的方法示例
2019/07/09 Python
python 自定义装饰器实例详解
2019/07/20 Python
python实现WebSocket服务端过程解析
2019/10/18 Python
Python tkinter实现图片标注功能(完整代码)
2019/12/08 Python
pytorch实现用CNN和LSTM对文本进行分类方式
2020/01/08 Python
CSS3自定义滚动条样式 ::webkit-scrollbar的示例代码详解
2020/06/01 HTML / CSS
信息专业毕业生五年职业规划参考
2014/02/06 职场文书
《灯光》教学反思
2014/02/08 职场文书
党的生日活动方案
2014/08/15 职场文书
交通局领导班子群众路线教育实践活动对照检查材料思想汇报
2014/10/09 职场文书
原生JS中应该禁止出现的写法
2021/05/05 Javascript
使用pandas或numpy处理数据中的空值(np.isnan()/pd.isnull())
2021/05/14 Python