基于scrapy的redis安装和配置方法


Posted in Python onJune 13, 2018

在定向爬虫的制作过程中,使用分布式爬取技术可以显著提高爬取效率。而 Redis 配合 Scrapy 是实现分布式爬取的基础。

Redis 是一个高性能的 Key-Value 数据库,它把数据保存在内存里。因此可以有非常快的数据读写速度。

scrapy-redis 的安装

pip install scrapy-redis
easy_install scrapy-redis

下载

http://redis.io/download

版本推荐

stable 3.0.2

运行redis

redis-server redis.conf

清空缓存

redis-cli flushdb

scrapy配置redis

settings.py配置redis

SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
REDIS_URL = None # 一般情况可以省去
REDIS_HOST = '127.0.0.1' # 也可以根据情况改成 localhost
REDIS_PORT = 6379

在scrapy中使用scrapy-redis

spider 继承RedisSpider

class tempSpider(RedisSpider) 
name = "temp"
redis_key = ''temp:start_url"

以上这篇基于scrapy的redis安装和配置方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
zbar解码二维码和条形码示例
Feb 07 Python
高性能web服务器框架Tornado简单实现restful接口及开发实例
Jul 16 Python
使用Python编写vim插件的简单示例
Apr 17 Python
python email smtplib模块发送邮件代码实例
Apr 26 Python
Python django使用多进程连接mysql错误的解决方法
Oct 08 Python
scrapy-redis源码分析之发送POST请求详解
May 15 Python
python爬虫爬取笔趣网小说网站过程图解
Nov 18 Python
使用python的pyplot绘制函数实例
Feb 13 Python
Python Opencv中用compareHist函数进行直方图比较对比图片
Apr 07 Python
Python的轻量级ORM框架peewee使用教程
Feb 05 Python
Django与数据库交互的实现
Jun 03 Python
详解PyTorch模型保存与加载
Apr 28 Python
mac下给python3安装requests库和scrapy库的实例
Jun 13 #Python
Python3实现将本地JSON大数据文件写入MySQL数据库的方法
Jun 13 #Python
解决Mac安装scrapy失败的问题
Jun 13 #Python
mac安装scrapy并创建项目的实例讲解
Jun 13 #Python
解决Tensorflow安装成功,但在导入时报错的问题
Jun 13 #Python
基于pip install django失败时的解决方法
Jun 12 #Python
基于Python pip用国内镜像下载的方法
Jun 12 #Python
You might like
PHP实现对数组分页处理实例详解
2017/02/07 PHP
PHP操作MongoDB实现增删改查功能【附php7操作MongoDB方法】
2018/04/24 PHP
tp5(thinkPHP5框架)使用DB实现批量删除功能示例
2019/05/28 PHP
JavaScript window.setTimeout() 的详细用法
2009/11/04 Javascript
js封装的textarea操作方法集合(兼容很好)
2010/11/16 Javascript
基于jquery封装的一个js分页
2011/11/15 Javascript
基于jquery自定义图片热区效果
2012/07/21 Javascript
浅析JavaScript中的隐式类型转换
2013/12/05 Javascript
jQuery解析json数据实例分析
2015/11/24 Javascript
Jquery attr()方法 属性赋值和属性获取详解
2016/04/15 Javascript
JavaScript事件学习小结(三)js事件对象
2016/06/09 Javascript
js对字符串进行编码的方法总结(推荐)
2016/11/10 Javascript
值得分享的Bootstrap Table使用教程
2016/11/23 Javascript
深入理解JavaScript继承的多种方式和优缺点
2017/05/12 Javascript
js实现简单的秒表
2020/01/16 Javascript
jQuery实现雪花飘落效果
2020/08/02 jQuery
vue+axios 拦截器实现统一token的案例
2020/09/11 Javascript
Python实现Sqlite将字段当做索引进行查询的方法
2016/07/21 Python
对Python 2.7 pandas 中的read_excel详解
2018/05/04 Python
python 实现selenium断言和验证的方法
2019/02/13 Python
python rsync服务器之间文件夹同步脚本
2019/08/29 Python
在Django中实现添加user到group并查看
2019/11/18 Python
Python with语句和过程抽取思想
2019/12/23 Python
详解Python3 定义一个跨越多行的字符串的多种方法
2020/09/06 Python
如何将Pycharm中调整字体大小的方式设置为"ctrl+鼠标滚轮上下滑"
2020/11/17 Python
pandas apply使用多列计算生成新的列实现示例
2021/02/24 Python
Tod’s英国官方网站:意大利奢华手工制作手袋和鞋履
2019/03/15 全球购物
有影响力的人、名人和艺术家的官方商品:Represent
2019/11/26 全球购物
匡威俄罗斯官网:Converse俄罗斯
2020/05/09 全球购物
如何通过 CSS 写出火焰效果
2021/03/24 HTML / CSS
列车长先进事迹材料
2014/01/25 职场文书
小学社团活动总结
2014/06/27 职场文书
领导党的群众路线教育实践活动个人对照检查材料
2014/09/23 职场文书
公司领导班子召开党的群众路线教育实践活动总结大会新闻稿
2014/10/21 职场文书
单位计划生育责任书
2015/05/09 职场文书
2016年党员干部廉政承诺书
2016/03/24 职场文书