基于scrapy的redis安装和配置方法


Posted in Python onJune 13, 2018

在定向爬虫的制作过程中,使用分布式爬取技术可以显著提高爬取效率。而 Redis 配合 Scrapy 是实现分布式爬取的基础。

Redis 是一个高性能的 Key-Value 数据库,它把数据保存在内存里。因此可以有非常快的数据读写速度。

scrapy-redis 的安装

pip install scrapy-redis
easy_install scrapy-redis

下载

http://redis.io/download

版本推荐

stable 3.0.2

运行redis

redis-server redis.conf

清空缓存

redis-cli flushdb

scrapy配置redis

settings.py配置redis

SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
REDIS_URL = None # 一般情况可以省去
REDIS_HOST = '127.0.0.1' # 也可以根据情况改成 localhost
REDIS_PORT = 6379

在scrapy中使用scrapy-redis

spider 继承RedisSpider

class tempSpider(RedisSpider) 
name = "temp"
redis_key = ''temp:start_url"

以上这篇基于scrapy的redis安装和配置方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python操作xml文件详细介绍
Jun 09 Python
一个简单的python爬虫程序 爬取豆瓣热度Top100以内的电影信息
Apr 17 Python
浅析Python 3 字符串中的 STR 和 Bytes 有什么区别
Oct 14 Python
django开发post接口简单案例,获取参数值的方法
Dec 11 Python
python将处理好的图像保存到指定目录下的方法
Jan 10 Python
用Python中的turtle模块画图两只小羊方法
Apr 09 Python
Python Request爬取seo.chinaz.com百度权重网站的查询结果过程解析
Aug 13 Python
关于Python3爬虫利器Appium的安装步骤
Jul 29 Python
使用Python画了一棵圣诞树的实例代码
Nov 27 Python
Python中使用Lambda函数的5种用法
Apr 01 Python
用python删除文件夹中的重复图片(图片去重)
May 12 Python
python index() 与 rindex() 方法的使用示例详解
Dec 24 Python
mac下给python3安装requests库和scrapy库的实例
Jun 13 #Python
Python3实现将本地JSON大数据文件写入MySQL数据库的方法
Jun 13 #Python
解决Mac安装scrapy失败的问题
Jun 13 #Python
mac安装scrapy并创建项目的实例讲解
Jun 13 #Python
解决Tensorflow安装成功,但在导入时报错的问题
Jun 13 #Python
基于pip install django失败时的解决方法
Jun 12 #Python
基于Python pip用国内镜像下载的方法
Jun 12 #Python
You might like
SESSION信息保存在哪个文件目录下以及能够用来保存什么类型的数据
2012/06/17 PHP
yii数据库的查询方法
2015/12/28 PHP
对比分析php中Cookie与Session的异同
2016/02/19 PHP
php json相关函数用法示例
2017/03/28 PHP
Laravel 不同生产环境服务器的判断实践
2019/10/15 PHP
thinkphp 框架数据库切换实现方法分析
2020/05/18 PHP
one.php 多项目、函数库、类库 统一为一个版本的方法
2020/08/24 PHP
document.compatMode介绍
2009/05/21 Javascript
jquery tools之tabs 选项卡/页签
2009/07/25 Javascript
JQuery入门——用映射方式绑定不同事件应用示例
2013/02/05 Javascript
js与C#进行时间戳转换
2014/11/14 Javascript
简单实现js页面切换功能
2021/01/10 Javascript
详解为Angular.js内置$http服务添加拦截器的方法
2016/12/20 Javascript
浅谈Vue的基本应用
2016/12/27 Javascript
javascript正则表达式模糊匹配IP地址功能示例
2017/01/06 Javascript
JS实现微信摇一摇原理解析
2017/07/22 Javascript
解决ie11 SCRIPT5011:不能执行已释放Script的代码问题
2019/05/05 Javascript
解决vue项目打包上服务器显示404错误,本地没出错的问题
2020/11/03 Javascript
[01:25:38]DOTA2-DPC中国联赛 正赛 VG vs LBZS BO3 第一场 1月19日
2021/03/11 DOTA
使用Python操作MySQL的一些基本方法
2015/08/16 Python
详解Python的Twisted框架中reactor事件管理器的用法
2016/05/25 Python
python opencv 图像尺寸变换方法
2018/04/02 Python
利用arcgis的python读取要素的X,Y方法
2018/12/22 Python
Django使用Celery加redis执行异步任务的实例内容
2020/02/20 Python
MCM英国官网:奢侈皮具制品
2017/04/18 全球购物
Needle & Thread官网:英国仙女品牌
2018/01/13 全球购物
经典优秀毕业生求职信范文分享
2013/12/18 职场文书
酒店总经理欢迎词
2014/01/08 职场文书
个人对照检查材料
2014/02/12 职场文书
2015年计划生育责任书
2015/05/08 职场文书
亮剑观后感600字
2015/06/05 职场文书
婚礼家长致辞
2015/07/27 职场文书
小学2016年“我们的节日·重阳节”活动总结
2016/04/01 职场文书
写自招自荐信的绝招!
2019/04/19 职场文书
javaScript Array api梳理
2021/03/31 Javascript
CSS3 Tab动画实例之背景切换动态效果
2021/08/23 HTML / CSS