Python爬虫文件下载图文教程


Posted in Python onDecember 23, 2018

而今天我们要说的内容是:如果在网页中存在文件资源,如:图片,电影,文档等。怎样通过Python爬虫把这些资源下载下来。

1、怎样在网上找资源:

就是百度图片为例,当你如下图在百度图片里搜索一个主题时,会为你跳出一大堆相关的图片。

还有如果你想学英语,找到一个网站有很多mp3的听力资源,这些可能都是你想获取的内容。

现在是一个互联网的时代,只要你去找,基本上能找到你想要的任何资源。

Python爬虫文件下载图文教程

2、怎样识别网页中的资源:

以上面搜索到的百度图片为例。找到了这么多的内容,当然你可以通过手动一张张的去保存,但这样做既费力又费事。你当然更希望通过程序自动去下载所找到的资源。要想代码识别这些资源,就要告诉代码这些资源有哪些特征,怎样在网页中找到它们。

打开浏览器的调试功能(不同浏览器可能有差别,不知道的百度一下吧)。找出网页中你想要下载资源的路径,如下图所示。如果有许多类似资源需要下载,则要找到识别这些资源地址的规律,然后告诉代码。

Python爬虫文件下载图文教程

3、资源下载方法一:

代码很简单,直接上代码:

from urllib.request import urlretrieve

urlretrieve("图片URL", "./image.jpg")

 

直接通过urlretrieve函数就把URL对应的图片给下载到当前文件夹(./)中了,并把图片命名为image.jpg。

4、资源下载方法二:

还是直接看代码:

import requests

resource = requests.get("图片URL")

with open("./image.jpg", mode="wb") as fh:

  fh.write(resource.content)

此下载方法要安装python的requests库。从功能上来说与下载方法一是一样的。python库的安装方法用pip就好。很简单,这里都不??铝恕?/p>

5、资源下载方法三:

看代码:

import requests

resource = requests.get("图片URL", stream=True)

with open("./image.jpg", mode="wb") as fh:

  for chunk in resource.iter_content(chunk_size=100):

    fh.write(chunk)

此方法与下载方法二的不同之处在于在get方法调用时使用了参数【stream=True】。而在写入的文件的时候是分块写入的。

什么意思呢:

前两种方法是把一个文件全部下载到内存后,再一起写入到硬盘文件中。

方法三是下载一定的量(这里指的是100字节)后,就写入到硬盘文件中,直到全部写完。

第三种方法的好处是,如果在下载大容量文件时,不会造成内存的过度使用。

6、资源下载说明一:

上述的代码都是通过下载图片资源为例子的,但所有其它资源,如文档,电影等的下载方式是一样的。关键是要正确的识别出网页中资源所对应的URL地址才能够正确的下载(因为有些资源是用的相对路径或加密后的路径)。

7、资源下载说明二:

上面例子中的代码都是下载单一资源的。如果要在同一网页中下载多个资源的思路如下:

1. 找出要下载资源的URL,并形成一个资源集合;

2. 把下载函数中的资源URL与保存路径参数化;

3. 遍历资源集合,依靠循环调用下载函数来达到多个资源下载的目的。

总结:以上就是本次介绍关于Python爬虫下载文件的所有知识点内容,感谢大家的阅读。

Python 相关文章推荐
python执行get提交的方法
Apr 29 Python
安装ElasticSearch搜索工具并配置Python驱动的方法
Dec 22 Python
Python之re操作方法(详解)
Jun 14 Python
使用Turtle画正螺旋线的方法
Sep 22 Python
Pyqt实现无边框窗口拖动以及窗口大小改变
Apr 19 Python
python 中字典嵌套列表的方法
Jul 03 Python
python PrettyTable模块的安装与简单应用
Jan 11 Python
简单了解python的break、continue、pass
Jul 08 Python
Python lambda表达式原理及用法解析
Aug 18 Python
python 如何快速复制序列
Sep 07 Python
python 实现aes256加密
Nov 27 Python
Flask处理Web表单的实现方法
Jan 31 Python
python爬虫获取百度首页内容教学
Dec 23 #Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
celery4+django2定时任务的实现代码
Dec 23 #Python
python3使用pandas获取股票数据的方法
Dec 22 #Python
Python实现将通信达.day文件读取为DataFrame
Dec 22 #Python
python3 cvs将数据读取为字典的方法
Dec 22 #Python
python将txt等文件中的数据读为numpy数组的方法
Dec 22 #Python
You might like
一个程序下载的管理程序(一)
2006/10/09 PHP
mysql时区问题
2008/03/26 PHP
IP攻击升级,程序改进以对付新的攻击
2010/11/23 PHP
PHP基础学习小结
2011/04/17 PHP
php的memcache类分享(memcache队列)
2014/03/26 PHP
PHP文件缓存类示例分享
2015/01/30 PHP
laravel 5 实现模板主题功能
2015/03/02 PHP
PHP使用file_get_contents发送http请求功能简单示例
2018/04/29 PHP
JQuery FlexiGrid的asp.net完美解决方案 dotNetFlexGrid-.Net原生的异步表格控件
2010/09/12 Javascript
JS实现清除指定cookies的方法
2014/09/20 Javascript
jQuery晃动层特效实现方法
2015/03/09 Javascript
浅谈被jQuery抛弃的函数及替代函数
2015/05/03 Javascript
js实现分割上传大文件
2016/03/09 Javascript
关于vue.js发布后路径引用的问题解决
2017/08/15 Javascript
JavaScript模块模式实例详解
2017/10/25 Javascript
Express系列之multer上传的使用
2017/10/27 Javascript
ES6 Object方法扩展的应用实例分析
2019/06/25 Javascript
Element Breadcrumb 面包屑的使用方法
2020/07/26 Javascript
JavaScript Image对象实现原理实例解析
2020/08/26 Javascript
原生JavaScript实现弹幕组件的示例代码
2020/10/12 Javascript
Python日期操作学习笔记
2008/10/07 Python
在Python中处理字符串之ljust()方法的使用简介
2015/05/19 Python
python reduce 函数使用详解
2017/12/05 Python
对python的unittest架构公共参数token提取方法详解
2018/12/17 Python
python语言线程标准库threading.local解读总结
2019/11/10 Python
python Opencv计算图像相似度过程解析
2019/12/03 Python
使用pytorch 筛选出一定范围的值
2020/06/28 Python
Python中pass的作用与使用教程
2020/11/13 Python
国际奢侈品品牌童装购物网站:Designer Childrenswear
2019/05/08 全球购物
巴西世界杯32强口号
2014/06/05 职场文书
安全口号大全
2014/06/21 职场文书
大学专科求职信
2014/07/02 职场文书
行政经理岗位职责
2015/04/15 职场文书
2016廉洁教育心得体会
2016/01/20 职场文书
Go 在 MongoDB 中常用查询与修改的操作
2021/05/07 Golang
警用民用对讲机找不同
2022/02/18 无线电