基于scrapy的redis安装和配置方法


Posted in Python onJune 13, 2018

在定向爬虫的制作过程中,使用分布式爬取技术可以显著提高爬取效率。而 Redis 配合 Scrapy 是实现分布式爬取的基础。

Redis 是一个高性能的 Key-Value 数据库,它把数据保存在内存里。因此可以有非常快的数据读写速度。

scrapy-redis 的安装

pip install scrapy-redis
easy_install scrapy-redis

下载

http://redis.io/download

版本推荐

stable 3.0.2

运行redis

redis-server redis.conf

清空缓存

redis-cli flushdb

scrapy配置redis

settings.py配置redis

SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
REDIS_URL = None # 一般情况可以省去
REDIS_HOST = '127.0.0.1' # 也可以根据情况改成 localhost
REDIS_PORT = 6379

在scrapy中使用scrapy-redis

spider 继承RedisSpider

class tempSpider(RedisSpider) 
name = "temp"
redis_key = ''temp:start_url"

以上这篇基于scrapy的redis安装和配置方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用Python脚本操作MongoDB的教程
Apr 16 Python
Python的语言类型(详解)
Jun 24 Python
Python对多属性的重复数据去重实例
Apr 18 Python
python 实现A*算法的示例代码
Aug 13 Python
python组合无重复三位数的实例
Nov 13 Python
python selenium firefox使用详解
Feb 26 Python
Python单元和文档测试实例详解
Apr 11 Python
如何使用PyCharm将代码上传到GitHub上(图文详解)
Apr 27 Python
python判断all函数输出结果是否为true的方法
Dec 03 Python
Python爬虫之Selenium实现关闭浏览器
Dec 04 Python
Python爬虫分析微博热搜关键词的实现代码
Feb 22 Python
Python破解极验滑动验证码详细步骤
May 21 Python
mac下给python3安装requests库和scrapy库的实例
Jun 13 #Python
Python3实现将本地JSON大数据文件写入MySQL数据库的方法
Jun 13 #Python
解决Mac安装scrapy失败的问题
Jun 13 #Python
mac安装scrapy并创建项目的实例讲解
Jun 13 #Python
解决Tensorflow安装成功,但在导入时报错的问题
Jun 13 #Python
基于pip install django失败时的解决方法
Jun 12 #Python
基于Python pip用国内镜像下载的方法
Jun 12 #Python
You might like
用文本文件制作留言板提示(下)
2006/10/09 PHP
Yii2 ActiveRecord多表关联及多表关联搜索的实现
2016/06/30 PHP
PHP信号处理机制的操作代码讲解
2019/04/19 PHP
什么是JavaScript
2009/08/13 Javascript
JavaScript中通过prototype属性共享属性和方法的技巧实例
2015/03/13 Javascript
javascript实现查找数组中最大值方法汇总
2016/02/13 Javascript
基于jQuery实现点击列表加载更多效果
2016/05/31 Javascript
JavaScript Ajax实现异步通信
2016/12/14 Javascript
BootStrap表单验证实例代码
2017/01/13 Javascript
图文介绍Vue父组件向子组件传值
2018/02/17 Javascript
layui中使用jquery控制radio选中事件的示例代码
2018/08/15 jQuery
实例详解带参数的 npm script
2019/05/28 Javascript
Vue2.0 $set()的正确使用详解
2020/07/28 Javascript
Vue-cli 移动端布局和动画使用详解
2020/08/10 Javascript
vue axios请求成功却进入catch的原因分析
2020/09/08 Javascript
vue 全局封装loading加载教程(全局监听)
2020/11/05 Javascript
[00:43]DOTA2小紫本全民票选福利PA至宝全方位展示
2014/11/25 DOTA
[03:04]2018年国际邀请赛典藏宝瓶&莱恩声望物品展示 片尾有彩蛋
2018/06/04 DOTA
Python实现SVN的目录周期性备份实例
2015/07/17 Python
Python中使用bidict模块双向字典结构的奇技淫巧
2016/07/12 Python
Python使用回溯法子集树模板获取最长公共子序列(LCS)的方法
2017/09/08 Python
pandas 数据实现行间计算的方法
2018/06/08 Python
Python OpenCV调用摄像头检测人脸并截图
2020/08/20 Python
详解python内置常用高阶函数(列出了5个常用的)
2020/02/21 Python
python3 简单实现组合设计模式
2020/07/02 Python
HTML5中的音频和视频媒体播放元素小结
2016/01/29 HTML / CSS
美国轻奢时尚购物网站:REVOLVE(支持中文)
2020/07/18 全球购物
员工自我鉴定范文
2013/10/06 职场文书
工程师岗位职责规定
2014/02/26 职场文书
师范毕业生求职信
2014/07/11 职场文书
2014学生会工作总结报告
2014/12/02 职场文书
2015年暑期社会实践活动总结
2015/03/27 职场文书
社区党支部承诺书
2015/04/29 职场文书
企业投资意向书
2015/05/09 职场文书
Java并发编程之Executor接口的使用
2021/06/21 Java/Android
Golang连接并操作MySQL
2022/04/14 MySQL