scrapy-redis的安装部署步骤讲解


Posted in Python onFebruary 27, 2019

先说下自己的环境,redis是部署在centos上的,爬虫运行在windows上,

1. 安装redis

yum install -y redis

2. 修改配置文件

vi /etc/redis.conf

将 protected-mode no解注释,否则的话,在不设置密码情况下远程无法连接redis

3. 重启redis

systemctl restart redis

4. 关闭防火墙

systemctl stop firewalld.service

5. 开始创建scrapy-redis的相关,和普通的scrapy一样的创建,只不过修改setting.py文件,添加一行

REDIS_URL = 'redis://192.168.61.130:6379'

6. 修改spiders.py文件

# -*- coding: utf-8 -*-
from scrapy_redis.spiders import RedisSpider
class ExampleSpider(RedisSpider):
  name = 'myspider'
  redis_key = 'test_key'
  allowed_domains = ['www.example.com']
  def parse(self, response):
    print(1111)
    pass

7. 可以执行这个爬虫了

scrapy runspider example.py

8. 进入redis 

redis-cli -h 127.0.0.1 -p
rpush test_key http://test.com

即可看到爬虫开始运行了

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
Python ZipFile模块详解
Nov 01 Python
Python抓取Discuz!用户名脚本代码
Dec 30 Python
python实现rest请求api示例
Apr 22 Python
简单易懂的python环境安装教程
Jul 13 Python
python 实现A*算法的示例代码
Aug 13 Python
Python查找最长不包含重复字符的子字符串算法示例
Feb 13 Python
python multiprocessing多进程变量共享与加锁的实现
Oct 02 Python
python实现的汉诺塔算法示例
Oct 23 Python
通过实例解析Python调用json模块
Dec 11 Python
jupyter notebook的安装与使用详解
May 18 Python
详解python logging日志传输
Jul 01 Python
在 Python 中利用 Pool 进行多线程
Apr 24 Python
python三引号输出方法
Feb 27 #Python
浅析python的Lambda表达式
Feb 27 #Python
PySide和PyQt加载ui文件的两种方法
Feb 27 #Python
Python利用字典破解WIFI密码的方法
Feb 27 #Python
pyside+pyqt实现鼠标右键菜单功能
Dec 08 #Python
基于PyQt4和PySide实现输入对话框效果
Feb 27 #Python
python使用PyQt5的简单方法
Feb 27 #Python
You might like
PHP内存缓存Memcached类实例
2014/12/08 PHP
PHP模拟http请求的方法详解
2016/11/09 PHP
thinkphp3.2实现跨控制器调用其他模块的方法
2017/03/14 PHP
详解Yii2高级版引入bootstrap.js的一个办法
2017/03/21 PHP
JavaScript 学习笔记(十三)Dom创建表格
2010/01/21 Javascript
jQuery为iframe的body添加click事件的实现代码
2011/04/07 Javascript
JS原型对象通俗"唱法"
2012/12/27 Javascript
通过JQuery将DIV的滚动条滚动到指定的位置方便自动定位
2014/05/05 Javascript
Javascript实现单张图片浏览
2014/12/18 Javascript
Bootstrap的Refresh Icon也spin起来
2016/07/13 Javascript
关于Vue.js一些问题和思考学习笔记(2)
2016/12/02 Javascript
js获取浏览器和屏幕的各种宽度高度
2017/02/22 Javascript
详解vue事件对象、冒泡、阻止默认行为
2017/03/20 Javascript
Angular X中使用ngrx的方法详解(附源码)
2017/07/10 Javascript
vue v-model实现自定义样式多选与单选功能
2018/07/05 Javascript
layui.use模块外部使用其内部定义的js封装函数方法
2019/09/16 Javascript
vue实现在线预览pdf文件和下载(pdf.js)
2019/11/26 Javascript
如何利用node.js开发一个生成逐帧动画的小工具
2019/12/01 Javascript
[05:14]辉夜杯主赛事第二日 RECAP精彩回顾
2015/12/27 DOTA
windows及linux环境下永久修改pip镜像源的方法
2016/11/28 Python
python自定义异常实例详解
2017/07/11 Python
pandas.read_csv参数详解(小结)
2019/06/21 Python
关于Python形参打包与解包小技巧分享
2019/08/24 Python
Python Process多进程实现过程
2019/10/22 Python
python 和c++实现旋转矩阵到欧拉角的变换方式
2019/12/04 Python
Python selenium模块实现定位过程解析
2020/07/09 Python
html5实现输入框fixed定位在屏幕最底部兼容性
2020/07/03 HTML / CSS
加拿大床上用品、家居装饰、厨房和浴室产品购物网站:Linen Chest
2018/06/05 全球购物
给实习单位的感谢信
2014/02/01 职场文书
国家机关领导干部民主生活会对照检查材料思想汇报
2014/09/17 职场文书
勇敢的心观后感
2015/06/09 职场文书
在酒桌上的敬酒词
2015/08/12 职场文书
2016高考寄语集锦
2015/12/04 职场文书
解决vue $http的get和post请求跨域问题
2021/06/07 Vue.js
React + Threejs + Swiper 实现全景图效果的完整代码
2021/06/28 Javascript
Spring Data JPA框架持久化存储数据到数据库
2022/04/28 Java/Android