基于scrapy的redis安装和配置方法


Posted in Python onJune 13, 2018

在定向爬虫的制作过程中,使用分布式爬取技术可以显著提高爬取效率。而 Redis 配合 Scrapy 是实现分布式爬取的基础。

Redis 是一个高性能的 Key-Value 数据库,它把数据保存在内存里。因此可以有非常快的数据读写速度。

scrapy-redis 的安装

pip install scrapy-redis
easy_install scrapy-redis

下载

http://redis.io/download

版本推荐

stable 3.0.2

运行redis

redis-server redis.conf

清空缓存

redis-cli flushdb

scrapy配置redis

settings.py配置redis

SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
REDIS_URL = None # 一般情况可以省去
REDIS_HOST = '127.0.0.1' # 也可以根据情况改成 localhost
REDIS_PORT = 6379

在scrapy中使用scrapy-redis

spider 继承RedisSpider

class tempSpider(RedisSpider) 
name = "temp"
redis_key = ''temp:start_url"

以上这篇基于scrapy的redis安装和配置方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中实现参数类型检查的简单方法
Apr 21 Python
Python3使用PyQt5制作简单的画板/手写板实例
Oct 19 Python
基于anaconda下强大的conda命令介绍
Jun 11 Python
使用pip发布Python程序的方法步骤
Oct 11 Python
对Python协程之异步同步的区别详解
Feb 19 Python
python使用wxpy轻松实现微信防撤回的方法
Feb 21 Python
通过selenium抓取某东的TT购买记录并分析趋势过程解析
Aug 15 Python
python爬虫爬取监控教务系统的思路详解
Jan 08 Python
pytorch 状态字典:state_dict使用详解
Jan 17 Python
Python建造者模式案例运行原理解析
Jun 29 Python
Pandas DataFrame求差集的示例代码
Dec 13 Python
python之django路由和视图案例教程
Jul 26 Python
mac下给python3安装requests库和scrapy库的实例
Jun 13 #Python
Python3实现将本地JSON大数据文件写入MySQL数据库的方法
Jun 13 #Python
解决Mac安装scrapy失败的问题
Jun 13 #Python
mac安装scrapy并创建项目的实例讲解
Jun 13 #Python
解决Tensorflow安装成功,但在导入时报错的问题
Jun 13 #Python
基于pip install django失败时的解决方法
Jun 12 #Python
基于Python pip用国内镜像下载的方法
Jun 12 #Python
You might like
无线电广播的开始
2002/01/30 无线电
destoon利用Rewrite规则设置网站安全
2014/06/21 PHP
PHP代码维护,重构变困难的4种原因分析
2016/01/25 PHP
Yii2框架dropDownList下拉菜单用法实例分析
2016/07/18 PHP
PHP获取当前文件的父目录方法汇总
2016/07/21 PHP
php高清晰度无损图片压缩功能的实现代码
2018/12/09 PHP
javascript 中String.match()与RegExp.exec()的区别说明
2013/01/10 Javascript
javascript中常用编程知识
2013/04/08 Javascript
jQuery中:disabled选择器用法实例
2015/01/04 Javascript
jQuery实现微信长按识别二维码功能
2016/08/26 Javascript
详解angularjs中如何实现控制器和指令之间交互
2017/05/31 Javascript
JavaScript创建对象的四种常用模式实例分析
2019/01/11 Javascript
基于vue和websocket的多人在线聊天室
2020/02/01 Javascript
mpvue网易云短信接口实现小程序短信登录的示例代码
2020/04/03 Javascript
ES6 Symbol在对象中的作用实例分析
2020/06/06 Javascript
微信小程序实现多图上传
2020/06/19 Javascript
vue+openlayers绘制省市边界线
2020/12/24 Vue.js
[54:53]完美世界DOTA2联赛PWL S2 GXR vs PXG 第二场 11.18
2020/11/18 DOTA
python多重继承新算法C3介绍
2014/09/28 Python
Django {{ MEDIA_URL }}无法显示图片的解决方式
2020/04/07 Python
CSS3弹性布局内容对齐(justify-content)属性使用详解
2017/07/31 HTML / CSS
美国知名玩具品牌:Melissa & Doug
2016/08/16 全球购物
BudgetAir印度:预订航班、酒店和汽车租赁
2019/07/07 全球购物
美国知名眼镜网站:Target Optical
2020/04/04 全球购物
数据库连接池的工作原理
2012/09/26 面试题
女大学生毕业找工作的自我评价
2013/10/03 职场文书
体育专业个人求职信范文
2013/12/27 职场文书
银行职员思想汇报
2013/12/31 职场文书
出国留学经济担保书
2014/04/01 职场文书
2014年学雷锋活动总结
2014/06/26 职场文书
政协会议宣传标语
2014/10/09 职场文书
社会治安综合治理责任书
2015/01/29 职场文书
2015小学教师德育工作总结
2015/05/12 职场文书
2015-2016年小学教导工作总结
2015/07/21 职场文书
PHP解决高并发问题
2021/04/01 PHP
CSS实现两列布局的N种方法
2021/08/02 HTML / CSS