基于scrapy的redis安装和配置方法


Posted in Python onJune 13, 2018

在定向爬虫的制作过程中,使用分布式爬取技术可以显著提高爬取效率。而 Redis 配合 Scrapy 是实现分布式爬取的基础。

Redis 是一个高性能的 Key-Value 数据库,它把数据保存在内存里。因此可以有非常快的数据读写速度。

scrapy-redis 的安装

pip install scrapy-redis
easy_install scrapy-redis

下载

http://redis.io/download

版本推荐

stable 3.0.2

运行redis

redis-server redis.conf

清空缓存

redis-cli flushdb

scrapy配置redis

settings.py配置redis

SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
REDIS_URL = None # 一般情况可以省去
REDIS_HOST = '127.0.0.1' # 也可以根据情况改成 localhost
REDIS_PORT = 6379

在scrapy中使用scrapy-redis

spider 继承RedisSpider

class tempSpider(RedisSpider) 
name = "temp"
redis_key = ''temp:start_url"

以上这篇基于scrapy的redis安装和配置方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中让MySQL查询结果返回字典类型的方法
Aug 22 Python
安装ElasticSearch搜索工具并配置Python驱动的方法
Dec 22 Python
详解Python网络爬虫功能的基本写法
Jan 28 Python
python批量添加zabbix Screens的两个脚本分享
Jan 16 Python
Python使用Dijkstra算法实现求解图中最短路径距离问题详解
May 16 Python
python中利用h5py模块读取h5文件中的主键方法
Jun 05 Python
Python实现的简单计算器功能详解
Aug 25 Python
对python Tkinter Text的用法详解
Oct 11 Python
Python多版本开发环境管理工具介绍
Jul 03 Python
Python实现语音识别和语音合成功能
Sep 20 Python
python 元组和列表的区别
Dec 30 Python
python 使用paramiko模块进行封装,远程操作linux主机的示例代码
Dec 03 Python
mac下给python3安装requests库和scrapy库的实例
Jun 13 #Python
Python3实现将本地JSON大数据文件写入MySQL数据库的方法
Jun 13 #Python
解决Mac安装scrapy失败的问题
Jun 13 #Python
mac安装scrapy并创建项目的实例讲解
Jun 13 #Python
解决Tensorflow安装成功,但在导入时报错的问题
Jun 13 #Python
基于pip install django失败时的解决方法
Jun 12 #Python
基于Python pip用国内镜像下载的方法
Jun 12 #Python
You might like
拼音码表的生成
2006/10/09 PHP
无数据库的详细域名查询程序PHP版(2)
2006/10/09 PHP
PHP实现的博客欢迎提示功能(很特别哦)
2014/06/05 PHP
PHP 正则表达式常用函数
2014/08/17 PHP
php身份证号码检查类实例
2015/06/18 PHP
PHP Mysqli 常用代码集合
2016/11/12 PHP
js三种排序算法分享
2012/08/16 Javascript
打开新窗口关闭当前页面不弹出关闭提示js代码
2013/03/18 Javascript
js动态设置鼠标事件示例代码
2013/10/30 Javascript
JavaScript实现SHA-1加密算法的方法
2015/03/11 Javascript
轻松搞定jQuery.noConflict()
2016/02/15 Javascript
浅析BootStrap Treeview的简单使用
2016/10/12 Javascript
利用yarn实现一个webpack+react种子
2016/10/25 Javascript
深入学习jQuery中的data()
2016/12/22 Javascript
jquery封装插件时匿名函数形参和实参的写法解释
2017/02/14 Javascript
Vue拖拽组件开发实例详解
2018/05/11 Javascript
JS温故而知新之变量提升和时间死区
2019/01/27 Javascript
ES6的解构赋值实例详解
2019/05/06 Javascript
js实现计算器功能
2020/08/10 Javascript
[02:49:21]2019完美盛典全程录像
2019/12/08 DOTA
[50:38]DOTA2-DPC中国联赛 正赛 Phoenix vs CDEC BO3 第二场 3月7日
2021/03/11 DOTA
python分割文件的常用方法
2014/11/01 Python
python用pickle模块实现“增删改查”的简易功能
2017/06/07 Python
配置 Pycharm 默认 Test runner 的图文教程
2018/11/30 Python
Python替换月份为英文缩写的实现方法
2019/07/15 Python
分布式全文检索引擎ElasticSearch原理及使用实例
2020/11/14 Python
印度网上购物首选目的地:Flipkart
2016/08/01 全球购物
世界经理人咨询有限公司面试
2014/09/23 面试题
求职自我推荐信
2014/06/25 职场文书
民事诉讼授权委托书范文
2014/08/02 职场文书
小学学校门卫岗位职责
2014/08/03 职场文书
体育运动会广播稿
2014/10/05 职场文书
感谢信
2019/04/11 职场文书
一篇文章带你学习Mybatis-Plus(新手入门)
2021/08/02 Java/Android
Mysql中一千万条数据怎么快速查询
2021/12/06 MySQL
Go语言 详解net的tcp服务
2022/04/14 Golang