Python urllib.request对象案例解析


Posted in Python onMay 11, 2020

刚刚接触爬虫,基础的东西得时时回顾才行,这么全面的帖子无论如何也得厚着脸皮转过来啊!

什么是 Urllib 库?

urllib 库 是 Python 内置的 HTTP 请求库。urllib 模块提供的上层接口,使访问 www 和 ftp 上的数据就像访问本地文件一样。

有以下几种模块:

1.urllib.request 请求模块

2. urllib.error 异常处理模块

3. urllib.parse url 解析模块

4. urllib.robotparser robots.txt 解析模块

Urllib 库下的几种模块基本使用如下:

urllib.request

关于 urllib.request: urllib.request 模块提供了最基本的构造 HTTP (或其他协议如 FTP)请求的方法,利用它可以模拟浏览器的一个请求发起过程。利用不同的协议去获取 URL 信息。它的某些接口能够处理基础认证 ( Basic Authenticaton) 、redirections (HTTP 重定向)、 Cookies (浏览器 Cookies)等情况。而这些接口是由 handlers 和 openers 对象提供的。

1.常用的方法有

  • read()==读取文件内容

  • geturl()==获取请求url

  • getheaders()==获取http请求头信息

  • getcode()==获取状态码

  • readlines()==获取一行

2.案例

#coding=utf-8
#import urllib.request
#=========response方法使用
#read()==读取文件内容
#geturl()==获取请求url
#getheaders()==获取http请求头信息
#getcode()==获取状态码
#readlines()==获取一行
#url="http://www.baidu.com";
#response = urllib.request.urlopen(url);
#=====案例1
# str = response.read().decode();#这样通过decode转换为utf8
# with open("baidu.html","w",encoding="utf8") as fp:
#   fp.write(str);
#=====案例2通过字节流写=默认通过read读取的是字节流
# with open("bai.html","wb") as fp:
#   fp.write(response.read()); 
#==使用字节流读取存图片
# image_url='https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=3772530225,1800402028&fm=26&gp=0.jpg';
# response = urllib.request.urlopen(image_url);
# with open("mv.jpg",'wb') as fp:
#   fp.write(response.read());
#案例3==使用内置函数读取图片
#image_url='https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=3772530225,1800402028&fm=26&gp=0.jpg';
#urllib.request.urlretrieve(image_url,"chun.jpg");

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python读写ini文件示例(python读写文件)
Mar 25 Python
跟老齐学Python之从格式化表达式到方法
Sep 28 Python
Python实现字符串格式化输出的方法详解
Sep 20 Python
Python登录并获取CSDN博客所有文章列表代码实例
Dec 28 Python
python实现一个简单的并查集的示例代码
Mar 19 Python
详解TensorFlow查看ckpt中变量的几种方法
Jun 19 Python
Python学习笔记基本数据结构之序列类型list tuple range用法分析
Jun 08 Python
python对绑定事件的鼠标、按键的判断实例
Jul 17 Python
tensorflow多维张量计算实例
Feb 11 Python
python 实现汉诺塔游戏
Nov 28 Python
Python批量删除mysql中千万级大量数据的脚本分享
Dec 03 Python
详解Python openpyxl库的基本应用
Feb 26 Python
python将dict中的unicode打印成中文实例
May 11 #Python
ansible-playbook实现自动部署KVM及安装python3的详细教程
May 11 #Python
Python转换字典成为对象,可以用"."方式访问对象属性实例
May 11 #Python
Python3自定义json逐层解析器代码
May 11 #Python
Python3自定义http/https请求拦截mitmproxy脚本实例
May 11 #Python
Python 找出出现次数超过数组长度一半的元素实例
May 11 #Python
Pycharm如何导入python文件及解决报错问题
May 10 #Python
You might like
curl不使用文件存取cookie php使用curl获取cookie示例
2014/01/26 PHP
php强制用户转向www域名的方法
2015/06/19 PHP
Windows Live的@live.com域名注册漏洞 利用代码
2006/12/27 Javascript
JavaScript中this关键字使用方法详解
2007/03/08 Javascript
Jquery图片滚动与幻灯片的实例代码
2013/04/08 Javascript
利用js实现前台动态添加文本框,后台获取文本框内容(示例代码)
2013/11/25 Javascript
moment.js轻松实现获取当前日期是当年的第几周
2015/02/05 Javascript
JS实现网站菜单拖拽移位效果的方法
2015/09/24 Javascript
JavaScript常见的五种数组去重的方式
2016/12/15 Javascript
写jQuery插件时的注意点
2017/02/20 Javascript
Bootstrap入门教程一Hello Bootstrap初识
2017/03/02 Javascript
js图片轮播插件的封装
2017/07/21 Javascript
引入JavaScript时alert弹出框显示中文乱码问题
2017/09/16 Javascript
Django中使用jquery的ajax进行数据交互的实例代码
2017/10/15 jQuery
JavaScript实现为事件句柄绑定监听函数的方法分析
2017/11/14 Javascript
js生成word中图片处理方法
2018/01/06 Javascript
用ES6的class模仿Vue写一个双向绑定的示例代码
2018/04/20 Javascript
Nodejs 和 Electron ubuntu下快速安装过程
2018/05/04 NodeJs
React父子组件间的传值的方法
2018/11/13 Javascript
javascript中的offsetWidth、clientWidth、innerWidth及相关属性方法
2020/05/14 Javascript
Python基本数据类型详细介绍
2014/03/11 Python
python模拟登陆阿里妈妈生成商品推广链接
2014/04/03 Python
Python实现简易版的Web服务器(推荐)
2018/01/29 Python
pygame游戏之旅 载入小车图片、更新窗口
2018/11/20 Python
python 解决flask uwsgi 获取不到全局变量的问题
2019/12/22 Python
python如何输出反斜杠
2020/06/18 Python
Python操作MySQL数据库的示例代码
2020/07/13 Python
20行代码教你用python给证件照换底色的方法示例
2021/02/05 Python
html5 input元素新特性_动力节点Java学院整理
2017/07/06 HTML / CSS
canvas之自定义头像功能实现代码示例
2017/09/29 HTML / CSS
英国领先的维生素和补充剂品牌:Higher Nature
2019/08/26 全球购物
历史学专业大学生找工作的自我评价
2013/10/16 职场文书
医学求职信
2014/05/28 职场文书
导游词400字
2015/02/13 职场文书
酒店人事主管岗位职责
2015/04/11 职场文书
Win11黑色桌面背景怎么办?Win11黑色壁纸解决方法汇总
2022/04/05 数码科技