Python urllib.request对象案例解析


Posted in Python onMay 11, 2020

刚刚接触爬虫,基础的东西得时时回顾才行,这么全面的帖子无论如何也得厚着脸皮转过来啊!

什么是 Urllib 库?

urllib 库 是 Python 内置的 HTTP 请求库。urllib 模块提供的上层接口,使访问 www 和 ftp 上的数据就像访问本地文件一样。

有以下几种模块:

1.urllib.request 请求模块

2. urllib.error 异常处理模块

3. urllib.parse url 解析模块

4. urllib.robotparser robots.txt 解析模块

Urllib 库下的几种模块基本使用如下:

urllib.request

关于 urllib.request: urllib.request 模块提供了最基本的构造 HTTP (或其他协议如 FTP)请求的方法,利用它可以模拟浏览器的一个请求发起过程。利用不同的协议去获取 URL 信息。它的某些接口能够处理基础认证 ( Basic Authenticaton) 、redirections (HTTP 重定向)、 Cookies (浏览器 Cookies)等情况。而这些接口是由 handlers 和 openers 对象提供的。

1.常用的方法有

  • read()==读取文件内容

  • geturl()==获取请求url

  • getheaders()==获取http请求头信息

  • getcode()==获取状态码

  • readlines()==获取一行

2.案例

#coding=utf-8
#import urllib.request
#=========response方法使用
#read()==读取文件内容
#geturl()==获取请求url
#getheaders()==获取http请求头信息
#getcode()==获取状态码
#readlines()==获取一行
#url="http://www.baidu.com";
#response = urllib.request.urlopen(url);
#=====案例1
# str = response.read().decode();#这样通过decode转换为utf8
# with open("baidu.html","w",encoding="utf8") as fp:
#   fp.write(str);
#=====案例2通过字节流写=默认通过read读取的是字节流
# with open("bai.html","wb") as fp:
#   fp.write(response.read()); 
#==使用字节流读取存图片
# image_url='https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=3772530225,1800402028&fm=26&gp=0.jpg';
# response = urllib.request.urlopen(image_url);
# with open("mv.jpg",'wb') as fp:
#   fp.write(response.read());
#案例3==使用内置函数读取图片
#image_url='https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=3772530225,1800402028&fm=26&gp=0.jpg';
#urllib.request.urlretrieve(image_url,"chun.jpg");

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
用python实现对比两张图片的不同
Feb 05 Python
python实现支付宝当面付(扫码支付)功能
May 30 Python
pandas Dataframe行列读取的实例
Jun 08 Python
python实现维吉尼亚加密法
Mar 20 Python
六行python代码的爱心曲线详解
May 17 Python
Python函数和模块的使用总结
May 20 Python
python调用动态链接库的基本过程详解
Jun 19 Python
PIL对上传到Django的图片进行处理并保存的实例
Aug 07 Python
关于tf.TFRecordReader()函数的用法解析
Feb 17 Python
TensorFlow保存TensorBoard图像操作
Jun 23 Python
python中np是做什么的
Jul 21 Python
python开发的自动化运维工具ansible详解
Aug 07 Python
python将dict中的unicode打印成中文实例
May 11 #Python
ansible-playbook实现自动部署KVM及安装python3的详细教程
May 11 #Python
Python转换字典成为对象,可以用"."方式访问对象属性实例
May 11 #Python
Python3自定义json逐层解析器代码
May 11 #Python
Python3自定义http/https请求拦截mitmproxy脚本实例
May 11 #Python
Python 找出出现次数超过数组长度一半的元素实例
May 11 #Python
Pycharm如何导入python文件及解决报错问题
May 10 #Python
You might like
php小技巧之过滤ascii控制字符
2014/05/14 PHP
phpword插件导出word文件时中文乱码问题处理方案
2014/08/19 PHP
javascript:;与javascript:void(0)使用介绍
2013/06/05 Javascript
js 固定悬浮效果实现思路代码
2013/08/02 Javascript
Node.js的包详细介绍
2015/01/14 Javascript
JavaScript中的Math.E属性使用详解
2015/06/12 Javascript
json+jQuery实现的无限级树形菜单效果代码
2015/08/27 Javascript
深入解析JavaScript中的数字对象与字符串对象
2015/10/21 Javascript
javascript实现保留两位小数的多种方法
2015/12/18 Javascript
Bootstrap+jfinal实现省市级联下拉菜单
2016/05/30 Javascript
JavaScript数组的定义及数字操作技巧
2016/06/06 Javascript
大型JavaScript应用程序架构设计模式
2016/06/29 Javascript
浅谈AngularJS中ng-class的使用方法
2016/11/11 Javascript
JS变量中有var定义和无var定义的区别以及es6中let命令和const命令
2017/02/19 Javascript
js中Number数字数值运算后值不对的解决方法
2017/02/28 Javascript
JS实现的走迷宫小游戏完整实例
2017/07/19 Javascript
微信公众平台获取access_token的方法步骤
2019/03/29 Javascript
Vue CL3 配置路径别名详解
2019/05/30 Javascript
javascript+css实现进度条效果
2020/03/25 Javascript
基于Electron实现桌面应用开发代码实例
2020/07/07 Javascript
Vue跨域请求问题解决方案过程解析
2020/08/07 Javascript
[02:16]卖萌的僵尸 DOTA2神话信使飞僵小宝来袭
2014/03/24 DOTA
基于Python实现的百度贴吧网络爬虫实例
2015/04/17 Python
Django 大文件下载实现过程解析
2019/08/01 Python
解决pyshp UnicodeDecodeError的问题
2019/12/06 Python
python 项目目录结构设置
2020/02/14 Python
Python IDLE或shell中切换路径的操作
2020/03/09 Python
Django用户认证系统如何实现自定义
2020/11/12 Python
使用Python制作一个数据预处理小工具(多种操作一键完成)
2021/02/07 Python
纯CSS改变webkit内核浏览器的滚动条样式
2014/04/17 HTML / CSS
幼儿园中秋节活动方案2013
2014/01/29 职场文书
清洁工岗位职责
2015/02/13 职场文书
大学生自我推荐信范文
2015/03/24 职场文书
现场施工员岗位职责
2015/04/11 职场文书
退休劳动合同怎么写?
2019/10/25 职场文书
MySQL锁机制
2021/04/05 MySQL