Python urllib.request对象案例解析


Posted in Python onMay 11, 2020

刚刚接触爬虫,基础的东西得时时回顾才行,这么全面的帖子无论如何也得厚着脸皮转过来啊!

什么是 Urllib 库?

urllib 库 是 Python 内置的 HTTP 请求库。urllib 模块提供的上层接口,使访问 www 和 ftp 上的数据就像访问本地文件一样。

有以下几种模块:

1.urllib.request 请求模块

2. urllib.error 异常处理模块

3. urllib.parse url 解析模块

4. urllib.robotparser robots.txt 解析模块

Urllib 库下的几种模块基本使用如下:

urllib.request

关于 urllib.request: urllib.request 模块提供了最基本的构造 HTTP (或其他协议如 FTP)请求的方法,利用它可以模拟浏览器的一个请求发起过程。利用不同的协议去获取 URL 信息。它的某些接口能够处理基础认证 ( Basic Authenticaton) 、redirections (HTTP 重定向)、 Cookies (浏览器 Cookies)等情况。而这些接口是由 handlers 和 openers 对象提供的。

1.常用的方法有

  • read()==读取文件内容

  • geturl()==获取请求url

  • getheaders()==获取http请求头信息

  • getcode()==获取状态码

  • readlines()==获取一行

2.案例

#coding=utf-8
#import urllib.request
#=========response方法使用
#read()==读取文件内容
#geturl()==获取请求url
#getheaders()==获取http请求头信息
#getcode()==获取状态码
#readlines()==获取一行
#url="http://www.baidu.com";
#response = urllib.request.urlopen(url);
#=====案例1
# str = response.read().decode();#这样通过decode转换为utf8
# with open("baidu.html","w",encoding="utf8") as fp:
#   fp.write(str);
#=====案例2通过字节流写=默认通过read读取的是字节流
# with open("bai.html","wb") as fp:
#   fp.write(response.read()); 
#==使用字节流读取存图片
# image_url='https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=3772530225,1800402028&fm=26&gp=0.jpg';
# response = urllib.request.urlopen(image_url);
# with open("mv.jpg",'wb') as fp:
#   fp.write(response.read());
#案例3==使用内置函数读取图片
#image_url='https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=3772530225,1800402028&fm=26&gp=0.jpg';
#urllib.request.urlretrieve(image_url,"chun.jpg");

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
简单的通用表达式求10乘阶示例
Mar 03 Python
python实现的登陆Discuz!论坛通用代码分享
Jul 11 Python
Python语言的变量认识及操作方法
Feb 11 Python
分享一下Python数据分析常用的8款工具
Apr 29 Python
用python实现将数组元素按从小到大的顺序排列方法
Jul 02 Python
解决PyCharm控制台输出乱码的问题
Jan 16 Python
python 对字典按照value进行排序的方法
May 09 Python
python实现俄罗斯方块游戏(改进版)
Mar 13 Python
基于SQLAlchemy实现操作MySQL并执行原生sql语句
Jun 10 Python
python+opencv实现车道线检测
Feb 19 Python
python实现自动清理文件夹旧文件
May 10 Python
5行Python代码实现一键批量扣图
Jun 29 Python
python将dict中的unicode打印成中文实例
May 11 #Python
ansible-playbook实现自动部署KVM及安装python3的详细教程
May 11 #Python
Python转换字典成为对象,可以用"."方式访问对象属性实例
May 11 #Python
Python3自定义json逐层解析器代码
May 11 #Python
Python3自定义http/https请求拦截mitmproxy脚本实例
May 11 #Python
Python 找出出现次数超过数组长度一半的元素实例
May 11 #Python
Pycharm如何导入python文件及解决报错问题
May 10 #Python
You might like
php缓存技术介绍
2006/11/25 PHP
PHP中遇到BOM、编码导致json_decode函数无法解析问题
2014/07/02 PHP
PHP微信公众号开发之微信红包实现方法分析
2017/07/14 PHP
List Installed Hot Fixes
2007/06/12 Javascript
jquery ajax同步异步的执行最终解决方案
2013/04/26 Javascript
JQuery EasyUI Layout 在from布局自适应窗口大小的实现方法
2016/05/28 Javascript
JavaScript获取服务器时间的方法详解
2016/12/11 Javascript
基于angular实现三级联动的生日插件
2017/05/12 Javascript
angular.fromJson与toJson方法用法示例
2017/05/17 Javascript
vue-cli启动本地服务局域网不能访问的原因分析
2018/01/22 Javascript
如何在JavaScript中优雅的提取循环内数据详解
2019/03/04 Javascript
Vue.js页面中有多个input搜索框如何实现防抖操作
2019/11/04 Javascript
Vue通过for循环随机生成不同的颜色或随机数的实例
2019/11/09 Javascript
vue实现登录拦截
2020/06/29 Javascript
一起来了解一下JavaScript的预编译(小结)
2021/03/01 Javascript
[01:10:49]Secret vs VGJ.S 2018国际邀请赛淘汰赛BO3 第二场 8.24
2018/08/25 DOTA
如何运行Python程序的方法
2013/04/21 Python
python网络编程示例(客户端与服务端)
2014/04/24 Python
python的Template使用指南
2014/09/11 Python
python3.5 tkinter实现页面跳转
2018/01/30 Python
python OpenCV学习笔记直方图反向投影的实现
2018/02/07 Python
python 中if else 语句的作用及示例代码
2018/03/05 Python
Python+Pyqt实现简单GUI电子时钟
2021/02/22 Python
通过python调用adb命令对App进行性能测试方式
2020/04/23 Python
python随机模块random的22种函数(小结)
2020/05/15 Python
使用Keras中的ImageDataGenerator进行批次读图方式
2020/06/17 Python
Kathmandu澳洲户外商店:新西兰户外运动品牌
2017/11/12 全球购物
迷你唐卡软皮鞋:Minnetonka Moccasin
2018/05/01 全球购物
中学生爱国演讲稿
2013/12/31 职场文书
单位在职证明范本
2014/01/09 职场文书
旅游管理毕业生自荐书
2014/02/02 职场文书
煤矿机修工岗位职责
2014/02/07 职场文书
洗手间标语
2014/06/23 职场文书
七年级思品教学反思
2016/02/20 职场文书
2016社区平安家庭事迹材料
2016/02/26 职场文书
golang协程池模拟实现群发邮件功能
2021/05/02 Golang