使用Python的Scrapy框架十分钟爬取美女图


Posted in Python onDecember 26, 2016

简介

scrapy 是一个 python 下面功能丰富、使用快捷方便的爬虫框架。用 scrapy 可以快速的开发一个简单的爬虫,官方给出的一个简单例子足以证明其强大:

使用Python的Scrapy框架十分钟爬取美女图

快速开发

下面开始10分钟倒计时:

当然开始前,可以先看看之前我们写过的 scrapy 入门文章 《零基础写python爬虫之使用Scrapy框架编写爬虫

1. 初始化项目

scrapy startproject mzt
cd mzt
scrapy genspider meizitu meizitu.com

2. 添加 spider 代码:

定义 scrapy.Item ,添加 image_urls 和 images ,为下载图片做准备。

修改 start_urls 为初始页面, 添加 parse 用于处理列表页, 添加 parse_item 处理项目页面。

使用Python的Scrapy框架十分钟爬取美女图

3. 修改配置文件:

DOWNLOAD_DELAY = 1 # 添加下载延迟配置
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加图片下载 pipeline
IMAGES_STORE = '.' # 设置图片保存目录

4. 运行项目:

scrapy crawl meizitu

看,项目运行效果图

使用Python的Scrapy框架十分钟爬取美女图

等待一会儿,就是收获的时候了

使用Python的Scrapy框架十分钟爬取美女图

使用Python的Scrapy框架十分钟爬取美女图

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流。

Python 相关文章推荐
Python中使用urllib2防止302跳转的代码例子
Jul 07 Python
简单介绍Python中的len()函数的使用
Apr 07 Python
Python爬虫DOTA排行榜爬取实例(分享)
Jun 13 Python
Tensorflow使用tfrecord输入数据格式
Jun 19 Python
Python 绘制酷炫的三维图步骤详解
Jul 12 Python
django使用admin站点上传图片的实例
Jul 28 Python
python3利用Axes3D库画3D模型图
Mar 25 Python
python datetime处理时间小结
Apr 16 Python
Python3.9 beta2版本发布了,看看这7个新的PEP都是什么
Jun 10 Python
基于CentOS搭建Python Django环境过程解析
Aug 24 Python
Python 在 VSCode 中使用 IPython Kernel 的方法详解
Sep 05 Python
Python基础之赋值,浅拷贝,深拷贝的区别
Apr 30 Python
Python中如何获取类属性的列表
Dec 26 #Python
Python中强大的命令行库click入门教程
Dec 26 #Python
Python快速从注释生成文档的方法
Dec 26 #Python
浅谈Python类的__getitem__和__setitem__特殊方法
Dec 25 #Python
解决pyqt中ui编译成窗体.py中文乱码的问题
Dec 23 #Python
详解python进行mp3格式判断
Dec 23 #Python
详解python发送各类邮件的主要方法
Dec 22 #Python
You might like
PHP连接SQLServer2005 的问题解决方法
2010/07/19 PHP
PHP判断来访是搜索引擎蜘蛛还是普通用户的代码小结
2015/09/14 PHP
注意!PHP 7中不要做的10件事
2016/09/18 PHP
Centos 6.5系统下编译安装PHP 7.0.13的方法
2016/12/19 PHP
php实现微信支付之退款功能
2018/05/30 PHP
EasyUI的treegrid组件动态加载数据问题的解决办法
2011/12/11 Javascript
js模拟点击以提交表单为例兼容主流浏览器
2013/11/29 Javascript
javascript判断数组内是否重复的方法
2015/04/21 Javascript
javascript作用域、作用域链(菜鸟必看)
2016/06/16 Javascript
ECMAScript6快速入手攻略
2016/07/18 Javascript
微信小程序 网络API发起请求详解
2016/11/09 Javascript
使用node.js中的Buffer类处理二进制数据的方法
2016/11/26 Javascript
详解js产生对象的3种基本方式(工厂模式,构造函数模式,原型模式)
2017/01/09 Javascript
利用JS对iframe父子(内外)页面进行操作的方法教程
2017/06/15 Javascript
VSCode配置react开发环境的步骤
2017/12/27 Javascript
详解基于React.js和Node.js的SSR实现方案
2019/03/21 Javascript
如何实现双向绑定mvvm的原理实现
2019/05/28 Javascript
js实现GIF图片的分解和合成
2019/10/24 Javascript
基于vue-draggable 实现三级拖动排序效果
2020/01/10 Javascript
Vue实现可移动水平时间轴
2020/06/29 Javascript
vue单应用在ios系统中实现微信分享功能操作
2020/09/07 Javascript
JavaScript常用工具函数汇总(浏览器环境)
2020/09/17 Javascript
Python的Flask框架中实现简单的登录功能的教程
2015/04/20 Python
python框架flask入门之路由及简单实现方法
2020/06/07 Python
Scrapy爬虫文件批量运行的实现
2020/09/30 Python
巧用CSS3 border实现图片遮罩效果代码
2012/04/09 HTML / CSS
一款纯css3实现的响应式导航
2014/10/31 HTML / CSS
台湾百利市购物中心:e-Payless
2017/08/16 全球购物
波兰品牌鞋履在线商店:Eastend.pl
2020/01/11 全球购物
Urban Decay官方网站:美国化妆品品牌
2020/06/04 全球购物
英文简历中的自我评价
2013/10/06 职场文书
高中毕业自我鉴定
2013/12/13 职场文书
幸福家庭事迹材料
2014/02/03 职场文书
信用社员工先进事迹材料
2014/02/04 职场文书
四风问题自我剖析材料
2014/10/07 职场文书
JavaScript实现简单计时器
2021/06/22 Javascript