Python urllib.request对象案例解析


Posted in Python onMay 11, 2020

刚刚接触爬虫,基础的东西得时时回顾才行,这么全面的帖子无论如何也得厚着脸皮转过来啊!

什么是 Urllib 库?

urllib 库 是 Python 内置的 HTTP 请求库。urllib 模块提供的上层接口,使访问 www 和 ftp 上的数据就像访问本地文件一样。

有以下几种模块:

1.urllib.request 请求模块

2. urllib.error 异常处理模块

3. urllib.parse url 解析模块

4. urllib.robotparser robots.txt 解析模块

Urllib 库下的几种模块基本使用如下:

urllib.request

关于 urllib.request: urllib.request 模块提供了最基本的构造 HTTP (或其他协议如 FTP)请求的方法,利用它可以模拟浏览器的一个请求发起过程。利用不同的协议去获取 URL 信息。它的某些接口能够处理基础认证 ( Basic Authenticaton) 、redirections (HTTP 重定向)、 Cookies (浏览器 Cookies)等情况。而这些接口是由 handlers 和 openers 对象提供的。

1.常用的方法有

  • read()==读取文件内容

  • geturl()==获取请求url

  • getheaders()==获取http请求头信息

  • getcode()==获取状态码

  • readlines()==获取一行

2.案例

#coding=utf-8
#import urllib.request
#=========response方法使用
#read()==读取文件内容
#geturl()==获取请求url
#getheaders()==获取http请求头信息
#getcode()==获取状态码
#readlines()==获取一行
#url="http://www.baidu.com";
#response = urllib.request.urlopen(url);
#=====案例1
# str = response.read().decode();#这样通过decode转换为utf8
# with open("baidu.html","w",encoding="utf8") as fp:
#   fp.write(str);
#=====案例2通过字节流写=默认通过read读取的是字节流
# with open("bai.html","wb") as fp:
#   fp.write(response.read()); 
#==使用字节流读取存图片
# image_url='https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=3772530225,1800402028&fm=26&gp=0.jpg';
# response = urllib.request.urlopen(image_url);
# with open("mv.jpg",'wb') as fp:
#   fp.write(response.read());
#案例3==使用内置函数读取图片
#image_url='https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=3772530225,1800402028&fm=26&gp=0.jpg';
#urllib.request.urlretrieve(image_url,"chun.jpg");

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python传递参数方式小结
Apr 17 Python
Python中的ConfigParser模块使用详解
May 04 Python
使用Python的Twisted框架编写非阻塞程序的代码示例
May 25 Python
Python中index()和seek()的用法(详解)
Apr 27 Python
Python创建对称矩阵的方法示例【基于numpy模块】
Oct 12 Python
PyQt5的安装配置过程,将ui文件转为py文件后显示窗口的实例
Jun 19 Python
django中上传图片分页三级联动效果的实现代码
Aug 30 Python
Python基于paramunittest模块实现excl参数化
Apr 26 Python
Python模拟伯努利试验和二项分布代码实例
May 27 Python
Python结合Window计划任务监测邮件的示例代码
Aug 05 Python
Python数据库封装实现代码示例解析
Sep 05 Python
python时间time模块处理大全
Oct 25 Python
python将dict中的unicode打印成中文实例
May 11 #Python
ansible-playbook实现自动部署KVM及安装python3的详细教程
May 11 #Python
Python转换字典成为对象,可以用"."方式访问对象属性实例
May 11 #Python
Python3自定义json逐层解析器代码
May 11 #Python
Python3自定义http/https请求拦截mitmproxy脚本实例
May 11 #Python
Python 找出出现次数超过数组长度一半的元素实例
May 11 #Python
Pycharm如何导入python文件及解决报错问题
May 10 #Python
You might like
一个高ai的分页函数和一个url函数
2006/10/09 PHP
PHP实现对二维数组某个键排序的方法
2016/09/14 PHP
PHP实现的mysql主从数据库状态检测功能示例
2017/07/20 PHP
PHP实现求两个字符串最长公共子串的方法示例
2017/11/17 PHP
THINKPHP3.2使用soap连接webservice的解决方法
2017/12/13 PHP
模拟电子签章盖章效果的jQuery插件源码
2013/06/24 Javascript
js实现DOM走马灯特效的方法
2015/01/21 Javascript
Javascript中this关键字的一些小知识
2015/03/15 Javascript
利用Angularjs实现幻灯片效果
2016/09/07 Javascript
JS跨域请求外部服务器的资源
2017/02/06 Javascript
javascript 中设置window.location.href跳转无效问题解决办法
2017/02/09 Javascript
springMVC + easyui + $.ajaxFileUpload实现文件上传注意事项
2017/04/23 Javascript
Angularjs修改密码的实例代码
2017/05/26 Javascript
vue.js通过路由实现经典的三栏布局实例代码
2018/07/08 Javascript
python获取从命令行输入数字的方法
2015/04/29 Python
Python修改MP3文件的方法
2015/06/15 Python
Python多层嵌套list的递归处理方法(推荐)
2016/06/08 Python
Python中在for循环中嵌套使用if和else语句的技巧
2016/06/20 Python
Python语言的变量认识及操作方法
2018/02/11 Python
python调用xlsxwriter创建xlsx的方法
2018/05/03 Python
python实现人民币大写转换
2018/06/20 Python
浅谈PYTHON 关于文件的操作
2019/03/19 Python
Python实现制度转换(货币,温度,长度)
2019/07/14 Python
Python实现大数据收集至excel的思路详解
2020/01/03 Python
关于初始种子自动选取的区域生长实例(python+opencv)
2020/01/16 Python
Django实现图片上传功能步骤解析
2020/04/22 Python
python tqdm库的使用
2020/11/30 Python
 Alo Yoga官网:购买瑜伽服装
2018/06/17 全球购物
在浏览器端如何得到服务器端响应的XML数据
2012/11/24 面试题
初中同学会活动方案
2014/08/22 职场文书
2014年德育工作总结
2014/11/20 职场文书
工程技术员岗位职责
2015/04/11 职场文书
phpQuery解析HTML乱码问题(补充官网未列出的乱码解决方案)
2021/04/01 PHP
springboot @ConfigurationProperties和@PropertySource的区别
2021/06/11 Java/Android
python字典进行运算原理及实例分享
2021/08/02 Python
分享MySQL常用 内核 Debug 几种常见方法
2022/03/17 MySQL