使用Python的Scrapy框架十分钟爬取美女图


Posted in Python onDecember 26, 2016

简介

scrapy 是一个 python 下面功能丰富、使用快捷方便的爬虫框架。用 scrapy 可以快速的开发一个简单的爬虫,官方给出的一个简单例子足以证明其强大:

使用Python的Scrapy框架十分钟爬取美女图

快速开发

下面开始10分钟倒计时:

当然开始前,可以先看看之前我们写过的 scrapy 入门文章 《零基础写python爬虫之使用Scrapy框架编写爬虫

1. 初始化项目

scrapy startproject mzt
cd mzt
scrapy genspider meizitu meizitu.com

2. 添加 spider 代码:

定义 scrapy.Item ,添加 image_urls 和 images ,为下载图片做准备。

修改 start_urls 为初始页面, 添加 parse 用于处理列表页, 添加 parse_item 处理项目页面。

使用Python的Scrapy框架十分钟爬取美女图

3. 修改配置文件:

DOWNLOAD_DELAY = 1 # 添加下载延迟配置
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加图片下载 pipeline
IMAGES_STORE = '.' # 设置图片保存目录

4. 运行项目:

scrapy crawl meizitu

看,项目运行效果图

使用Python的Scrapy框架十分钟爬取美女图

等待一会儿,就是收获的时候了

使用Python的Scrapy框架十分钟爬取美女图

使用Python的Scrapy框架十分钟爬取美女图

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流。

Python 相关文章推荐
详解Python编程中对Monkey Patch猴子补丁开发方式的运用
May 27 Python
pygame游戏之旅 按钮上添加文字的方法
Nov 21 Python
Python图像滤波处理操作示例【基于ImageFilter类】
Jan 03 Python
在Python 中实现图片加框和加字的方法
Jan 26 Python
对python 自定义协议的方法详解
Feb 13 Python
Python写一个基于MD5的文件监听程序
Mar 11 Python
解决django同步数据库的时候app models表没有成功创建的问题
Aug 09 Python
python爬虫学习笔记之pyquery模块基本用法详解
Apr 09 Python
python golang中grpc 使用示例代码详解
Jun 03 Python
Python实时监控网站浏览记录实现过程详解
Jul 14 Python
基于Python正确读取资源文件
Sep 14 Python
Python约瑟夫生者死者小游戏实例讲解
Jan 04 Python
Python中如何获取类属性的列表
Dec 26 #Python
Python中强大的命令行库click入门教程
Dec 26 #Python
Python快速从注释生成文档的方法
Dec 26 #Python
浅谈Python类的__getitem__和__setitem__特殊方法
Dec 25 #Python
解决pyqt中ui编译成窗体.py中文乱码的问题
Dec 23 #Python
详解python进行mp3格式判断
Dec 23 #Python
详解python发送各类邮件的主要方法
Dec 22 #Python
You might like
php字符串分割函数用法实例
2015/03/17 PHP
PHP入门教程之操作符与控制结构流程详解
2016/09/09 PHP
javascript学习随笔(使用window和frame)的技巧
2007/03/08 Javascript
用JavaScript隐藏控件的方法
2009/09/21 Javascript
JavaScript 加号(+)运算符号
2009/12/06 Javascript
jquery jqPlot API 中文使用教程(非常强大的图表工具)
2011/08/15 Javascript
js新闻滚动 js如何实现新闻滚动效果
2013/01/07 Javascript
jquery实现类似淘宝星星评分功能实例
2014/09/12 Javascript
基于jQuery实现的双11天猫拆红包抽奖效果
2015/12/01 Javascript
AngularJS表达式讲解及示例代码
2016/08/16 Javascript
使用jQuery的toggle()方法对HTML标签进行显示、隐藏的方法(示例)
2016/09/01 Javascript
Django1.7+JQuery+Ajax验证用户注册集成小例子
2017/04/08 jQuery
Vue使用路由钩子拦截器beforeEach和afterEach监听路由
2020/11/16 Javascript
[08:44]DOTA2发布会群星聚首 我们都是刀塔人
2014/03/21 DOTA
[01:56]林书豪DOTA2上海特级锦标赛励志短片
2016/03/05 DOTA
python测试驱动开发实例
2014/10/08 Python
python实现基于两张图片生成圆角图标效果的方法
2015/03/26 Python
简单介绍Python中的JSON模块
2015/04/08 Python
使用tensorflow实现线性svm
2018/09/07 Python
PIL图像处理模块paste方法简单使用详解
2019/07/17 Python
opencv python如何实现图像二值化
2020/02/03 Python
Django中的session用法详解
2020/03/09 Python
Python用requests库爬取返回为空的解决办法
2021/02/21 Python
英国高街品牌:Miss Selfridge(塞尔弗里奇小姐)
2016/09/21 全球购物
德国50岁以上交友网站:Lebensfreunde
2020/03/18 全球购物
大学生个人简历自我评价
2013/11/16 职场文书
社会工作专业求职信
2014/07/15 职场文书
试用期员工工作自我评价
2014/09/10 职场文书
个人授权委托书范本
2014/09/14 职场文书
保研导师推荐信
2015/03/25 职场文书
2016小学新学期寄语
2015/12/04 职场文书
2019年销售人员的职业生涯规划书
2019/03/25 职场文书
vue引入Excel表格插件的方法
2021/04/28 Vue.js
go语言中fallthrough的用法说明
2021/05/06 Golang
Python中OpenCV实现查找轮廓的实例
2021/06/08 Python
常用的MongoDB查询语句的示例代码
2021/07/25 MongoDB