基于scrapy的redis安装和配置方法


Posted in Python onJune 13, 2018

在定向爬虫的制作过程中,使用分布式爬取技术可以显著提高爬取效率。而 Redis 配合 Scrapy 是实现分布式爬取的基础。

Redis 是一个高性能的 Key-Value 数据库,它把数据保存在内存里。因此可以有非常快的数据读写速度。

scrapy-redis 的安装

pip install scrapy-redis
easy_install scrapy-redis

下载

http://redis.io/download

版本推荐

stable 3.0.2

运行redis

redis-server redis.conf

清空缓存

redis-cli flushdb

scrapy配置redis

settings.py配置redis

SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
REDIS_URL = None # 一般情况可以省去
REDIS_HOST = '127.0.0.1' # 也可以根据情况改成 localhost
REDIS_PORT = 6379

在scrapy中使用scrapy-redis

spider 继承RedisSpider

class tempSpider(RedisSpider) 
name = "temp"
redis_key = ''temp:start_url"

以上这篇基于scrapy的redis安装和配置方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python开发编码规范
Sep 08 Python
python中字符串变二维数组的实例讲解
Apr 03 Python
在python中使用requests 模拟浏览器发送请求数据的方法
Dec 26 Python
基于python实现的百度新歌榜、热歌榜下载器(附代码)
Aug 05 Python
Python SSL证书验证问题解决方案
Jan 13 Python
Python os模块常用方法和属性总结
Feb 20 Python
520使用Python实现“我爱你”表白
May 20 Python
Python猫眼电影最近上映的电影票房信息
Sep 18 Python
Python通过yagmail实现发送邮件代码解析
Oct 27 Python
基于Django集成CAS实现流程详解
Nov 28 Python
Python实现区域填充的示例代码
Feb 03 Python
python APScheduler执行定时任务介绍
Apr 19 Python
mac下给python3安装requests库和scrapy库的实例
Jun 13 #Python
Python3实现将本地JSON大数据文件写入MySQL数据库的方法
Jun 13 #Python
解决Mac安装scrapy失败的问题
Jun 13 #Python
mac安装scrapy并创建项目的实例讲解
Jun 13 #Python
解决Tensorflow安装成功,但在导入时报错的问题
Jun 13 #Python
基于pip install django失败时的解决方法
Jun 12 #Python
基于Python pip用国内镜像下载的方法
Jun 12 #Python
You might like
PHP简介
2006/10/09 PHP
Thinkphp搜索时首页分页和搜索页保持条件分页的方法
2014/12/05 PHP
thinkphp制作404跳转页的简单实现方法
2016/09/22 PHP
PHP实现找出有序数组中绝对值最小的数算法分析
2017/08/07 PHP
php打开本地exe程序,js打开本地exe应用程序,并传递相关参数方法
2018/02/06 PHP
JavaScript高级程序设计 错误处理与调试学习笔记
2011/09/10 Javascript
在JavaScript中操作时间之getYear()方法的使用教程
2015/06/11 Javascript
实现音乐播放器的代码(html5+css3+jquery)
2015/08/04 Javascript
JavaScript实现多种排序算法
2016/02/24 Javascript
全面解析Javascript无限添加QQ好友原理
2016/06/15 Javascript
在JS中a标签加入单击事件屏蔽href跳转页面
2016/12/16 Javascript
用jQuery实现圆点图片轮播效果
2017/03/19 Javascript
详解用node.js实现简单的反向代理
2017/06/26 Javascript
parabola.js抛物线与加入购物车效果的示例代码
2017/10/25 Javascript
JavaScript闭包与作用域链实例分析
2019/01/21 Javascript
JavaScript实现Tab选项卡切换
2020/02/13 Javascript
VUE 项目在IE11白屏报错 SCRIPT1002: 语法错误的解决
2020/09/27 Javascript
Python基本数据类型详细介绍
2014/03/11 Python
python基础教程之数字处理(math)模块详解
2014/03/25 Python
python超简单解决约瑟夫环问题
2015/05/12 Python
python生成tensorflow输入输出的图像格式的方法
2018/02/12 Python
对Python 3.2 迭代器的next函数实例讲解
2018/10/18 Python
Python判断一个list中是否包含另一个list全部元素的方法分析
2018/12/24 Python
Python列表元素常见操作简单示例
2019/10/25 Python
python_matplotlib改变横坐标和纵坐标上的刻度(ticks)方式
2020/05/16 Python
用CSS3实现背景渐变的方法
2015/07/14 HTML / CSS
来自世界各地的饮料:Flavourly
2019/05/06 全球购物
大学专科生推荐信范文
2013/11/23 职场文书
个人实用的自我评价范文
2013/11/23 职场文书
安全事故检讨书
2014/01/18 职场文书
制药工程专业个人求职自荐信
2014/01/25 职场文书
淘宝店策划方案
2014/06/07 职场文书
2014年秋季开学典礼致辞
2014/08/02 职场文书
先进员工事迹材料
2014/12/20 职场文书
初中语文教师研修日志
2015/11/13 职场文书
MySQL中IO问题的深入分析与优化
2022/04/02 MySQL