使用Python的Scrapy框架十分钟爬取美女图


Posted in Python onDecember 26, 2016

简介

scrapy 是一个 python 下面功能丰富、使用快捷方便的爬虫框架。用 scrapy 可以快速的开发一个简单的爬虫,官方给出的一个简单例子足以证明其强大:

使用Python的Scrapy框架十分钟爬取美女图

快速开发

下面开始10分钟倒计时:

当然开始前,可以先看看之前我们写过的 scrapy 入门文章 《零基础写python爬虫之使用Scrapy框架编写爬虫

1. 初始化项目

scrapy startproject mzt
cd mzt
scrapy genspider meizitu meizitu.com

2. 添加 spider 代码:

定义 scrapy.Item ,添加 image_urls 和 images ,为下载图片做准备。

修改 start_urls 为初始页面, 添加 parse 用于处理列表页, 添加 parse_item 处理项目页面。

使用Python的Scrapy框架十分钟爬取美女图

3. 修改配置文件:

DOWNLOAD_DELAY = 1 # 添加下载延迟配置
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加图片下载 pipeline
IMAGES_STORE = '.' # 设置图片保存目录

4. 运行项目:

scrapy crawl meizitu

看,项目运行效果图

使用Python的Scrapy框架十分钟爬取美女图

等待一会儿,就是收获的时候了

使用Python的Scrapy框架十分钟爬取美女图

使用Python的Scrapy框架十分钟爬取美女图

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流。

Python 相关文章推荐
python通过floor函数舍弃小数位的方法
Mar 17 Python
使用Python解析JSON数据的基本方法
Oct 15 Python
Python的string模块中的Template类字符串模板用法
Jun 27 Python
利用PyInstaller将python程序.py转为.exe的方法详解
May 03 Python
Python语言的变量认识及操作方法
Feb 11 Python
Python可变参数*args和**kwargs用法实例小结
Apr 27 Python
Django 创建/删除用户的示例代码
Jul 24 Python
python并发编程多进程 互斥锁原理解析
Aug 20 Python
Python 3.8正式发布,来尝鲜这些新特性吧
Oct 15 Python
Python3 shelve对象持久存储原理详解
Mar 23 Python
基于python纯函数实现井字棋游戏
May 27 Python
python3列表删除大量重复元素remove()方法的问题详解
Jan 04 Python
Python中如何获取类属性的列表
Dec 26 #Python
Python中强大的命令行库click入门教程
Dec 26 #Python
Python快速从注释生成文档的方法
Dec 26 #Python
浅谈Python类的__getitem__和__setitem__特殊方法
Dec 25 #Python
解决pyqt中ui编译成窗体.py中文乱码的问题
Dec 23 #Python
详解python进行mp3格式判断
Dec 23 #Python
详解python发送各类邮件的主要方法
Dec 22 #Python
You might like
完美解决令人抓狂的zend studio 7代码提示(content Assist)速度慢的问题
2013/06/20 PHP
PHP清除数组中所有字符串两端空格的方法
2014/10/20 PHP
thinkphp中空模板与空模块的用法实例
2014/11/26 PHP
php对二维数组进行相关操作(排序、转换、去空白等)
2015/11/04 PHP
PHP中检查isset()和!empty()函数的必要性
2019/02/13 PHP
javascript replace方法与正则表达式
2008/02/19 Javascript
解决自定义$(id)的方法与jquery选择器$冲突的问题
2014/06/14 Javascript
自定义Angular指令与jQuery实现的Bootstrap风格数据双向绑定的单选与多选下拉框
2015/12/12 Javascript
深入探究JavaScript中for循环的效率问题及相关优化
2016/03/13 Javascript
JS弹出窗口插件zDialog简单用法示例
2016/06/12 Javascript
AngularJS的依赖注入实例分析(使用module和injector)
2017/01/19 Javascript
使用Node.js实现RESTful API的示例
2017/08/01 Javascript
vue中,在本地缓存中读写数据的方法
2018/09/21 Javascript
微信小程序如何调用图片接口API并居中显示
2019/06/29 Javascript
基于form-data请求格式详解
2019/10/29 Javascript
理解python多线程(python多线程简明教程)
2014/06/09 Python
python中 logging的使用详解
2017/10/25 Python
django 发送手机验证码的示例代码
2018/04/25 Python
对python中的xlsxwriter库简单分析
2018/05/04 Python
Python 修改列表中的元素方法
2018/06/26 Python
Sanic框架异常处理与中间件操作实例分析
2018/07/16 Python
python3.8下载及安装步骤详解
2020/01/15 Python
python 函数中的参数类型
2020/02/11 Python
python词云库wordcloud的使用方法与实例详解
2020/02/17 Python
关于Python字符串显示u...的解决方式
2020/03/06 Python
深入浅析HTML5中的SVG
2015/11/27 HTML / CSS
意大利在线药房:shop-farmacia.it
2019/03/12 全球购物
美国二手复古奢侈品包包购物网站:LXRandCo
2019/06/18 全球购物
中英双版中文教师求职信
2013/10/27 职场文书
给排水工程师岗位职责
2013/11/21 职场文书
大学校庆策划书
2014/01/31 职场文书
周年庆典答谢词
2015/01/20 职场文书
办公室文员岗位职责
2015/02/04 职场文书
2015年小学一年级班主任工作总结
2015/05/21 职场文书
网络营销实训总结
2015/08/03 职场文书
win server2012 r2服务器共享文件夹如何设置
2022/06/21 Servers