使用Python的Scrapy框架十分钟爬取美女图


Posted in Python onDecember 26, 2016

简介

scrapy 是一个 python 下面功能丰富、使用快捷方便的爬虫框架。用 scrapy 可以快速的开发一个简单的爬虫,官方给出的一个简单例子足以证明其强大:

使用Python的Scrapy框架十分钟爬取美女图

快速开发

下面开始10分钟倒计时:

当然开始前,可以先看看之前我们写过的 scrapy 入门文章 《零基础写python爬虫之使用Scrapy框架编写爬虫

1. 初始化项目

scrapy startproject mzt
cd mzt
scrapy genspider meizitu meizitu.com

2. 添加 spider 代码:

定义 scrapy.Item ,添加 image_urls 和 images ,为下载图片做准备。

修改 start_urls 为初始页面, 添加 parse 用于处理列表页, 添加 parse_item 处理项目页面。

使用Python的Scrapy框架十分钟爬取美女图

3. 修改配置文件:

DOWNLOAD_DELAY = 1 # 添加下载延迟配置
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加图片下载 pipeline
IMAGES_STORE = '.' # 设置图片保存目录

4. 运行项目:

scrapy crawl meizitu

看,项目运行效果图

使用Python的Scrapy框架十分钟爬取美女图

等待一会儿,就是收获的时候了

使用Python的Scrapy框架十分钟爬取美女图

使用Python的Scrapy框架十分钟爬取美女图

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流。

Python 相关文章推荐
Python使用urllib模块的urlopen超时问题解决方法
Nov 08 Python
python实现聚类算法原理
Feb 12 Python
python 重命名轴索引的方法
Nov 10 Python
Python数据类型之列表和元组的方法实例详解
Jul 08 Python
python的pstuil模块使用方法总结
Jul 26 Python
TensorFlow实现打印每一层的输出
Jan 21 Python
TensorFlow 显存使用机制详解
Feb 03 Python
解决pycharm不能自动补全第三方库的函数和属性问题
Mar 12 Python
Python urllib2运行过程原理解析
Jun 04 Python
python爬虫用request库处理cookie的实例讲解
Feb 20 Python
详解Python生成器和基于生成器的协程
Jun 03 Python
python游戏开发Pygame框架
Apr 22 Python
Python中如何获取类属性的列表
Dec 26 #Python
Python中强大的命令行库click入门教程
Dec 26 #Python
Python快速从注释生成文档的方法
Dec 26 #Python
浅谈Python类的__getitem__和__setitem__特殊方法
Dec 25 #Python
解决pyqt中ui编译成窗体.py中文乱码的问题
Dec 23 #Python
详解python进行mp3格式判断
Dec 23 #Python
详解python发送各类邮件的主要方法
Dec 22 #Python
You might like
封装一个PDO数据库操作类代码
2009/09/09 PHP
php htmlspecialchars加强版
2010/02/16 PHP
PHP使用flock实现文件加锁的方法
2015/07/01 PHP
php 使用expat方式解析xml文件操作示例
2019/11/26 PHP
JavaScript Distilled 基础知识与函数
2010/04/07 Javascript
Google官方支持的NodeJS访问API,提供后台登录授权
2014/07/29 NodeJs
分享一个常用的javascript静态类
2014/12/31 Javascript
jQuery Ajax使用实例
2015/04/16 Javascript
Backbone.js的一些使用技巧
2015/07/01 Javascript
AngularJS中实现用户访问的身份认证和表单验证功能
2016/04/21 Javascript
jQuery解决IE6、7、8不能使用 JSON.stringify 函数的问题
2016/05/31 Javascript
JavaScrip数组去重操作实例小结
2019/06/20 Javascript
jquery实现弹窗(系统提示框)效果
2019/12/10 jQuery
python list语法学习(带例子)
2013/11/01 Python
Python实现文件内容批量追加的方法示例
2017/08/29 Python
python互斥锁、加锁、同步机制、异步通信知识总结
2018/02/11 Python
pandas 小数位数 精度的处理方法
2018/06/09 Python
python实现汉诺塔算法
2021/03/01 Python
PyQt5 对图片进行缩放的实例
2019/06/18 Python
python实现图片压缩代码实例
2019/08/12 Python
Python不支持 i ++ 语法的原因解析
2020/07/22 Python
python创建文本文件的简单方法
2020/08/30 Python
python中not、and和or的优先级与详细用法介绍
2020/11/03 Python
Crocs美国官方网站:卡骆驰洞洞鞋
2017/08/04 全球购物
澳洲的服装老品牌:SABA
2018/02/06 全球购物
马来西亚网上花店:FlowerAdvisor马来西亚
2020/01/03 全球购物
shell变量的作用空间是什么
2013/08/17 面试题
会计专业大学生职业生涯规划书
2014/02/11 职场文书
优秀教师工作感言
2014/02/16 职场文书
法律进社区实施方案
2014/03/21 职场文书
2014年冬季防火方案
2014/05/21 职场文书
社区维稳工作方案
2014/06/06 职场文书
求职教师自荐书
2014/06/19 职场文书
2014党员学习兰辉先进事迹思想汇报
2014/09/17 职场文书
售后服务质量承诺书
2015/04/29 职场文书
PyTorch 如何检查模型梯度是否可导
2021/06/05 Python