scrapy-redis的安装部署步骤讲解


Posted in Python onFebruary 27, 2019

先说下自己的环境,redis是部署在centos上的,爬虫运行在windows上,

1. 安装redis

yum install -y redis

2. 修改配置文件

vi /etc/redis.conf

将 protected-mode no解注释,否则的话,在不设置密码情况下远程无法连接redis

3. 重启redis

systemctl restart redis

4. 关闭防火墙

systemctl stop firewalld.service

5. 开始创建scrapy-redis的相关,和普通的scrapy一样的创建,只不过修改setting.py文件,添加一行

REDIS_URL = 'redis://192.168.61.130:6379'

6. 修改spiders.py文件

# -*- coding: utf-8 -*-
from scrapy_redis.spiders import RedisSpider
class ExampleSpider(RedisSpider):
  name = 'myspider'
  redis_key = 'test_key'
  allowed_domains = ['www.example.com']
  def parse(self, response):
    print(1111)
    pass

7. 可以执行这个爬虫了

scrapy runspider example.py

8. 进入redis 

redis-cli -h 127.0.0.1 -p
rpush test_key http://test.com

即可看到爬虫开始运行了

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
python操作MySQL数据库具体方法
Oct 28 Python
Python的消息队列包SnakeMQ使用初探
Jun 29 Python
JPype实现在python中调用JAVA的实例
Jul 19 Python
使用Python机器学习降低静态日志噪声
Sep 29 Python
详解Django中CBV(Class Base Views)模型源码分析
Feb 25 Python
解决.ui文件生成的.py文件运行不出现界面的方法
Jun 19 Python
在macOS上搭建python环境的实现方法
Aug 13 Python
Python基于内置库pytesseract实现图片验证码识别功能
Feb 24 Python
python GUI库图形界面开发之PyQt5窗口背景与不规则窗口实例
Feb 25 Python
如何把外网python虚拟环境迁移到内网
May 18 Python
Python中pass的作用与使用教程
Nov 13 Python
如何利用python生成MD5并去重
Dec 07 Python
python三引号输出方法
Feb 27 #Python
浅析python的Lambda表达式
Feb 27 #Python
PySide和PyQt加载ui文件的两种方法
Feb 27 #Python
Python利用字典破解WIFI密码的方法
Feb 27 #Python
pyside+pyqt实现鼠标右键菜单功能
Dec 08 #Python
基于PyQt4和PySide实现输入对话框效果
Feb 27 #Python
python使用PyQt5的简单方法
Feb 27 #Python
You might like
PHP实现的博客欢迎提示功能(很特别哦)
2014/06/05 PHP
php中FTP函数ftp_connect、ftp_login与ftp_chmod用法
2014/11/18 PHP
thinkphp修改配置进入默认首页的方法
2017/02/07 PHP
PHP array_shift()用法实例分析
2019/01/07 PHP
laravel 中某一字段自增、自减的例子
2019/10/11 PHP
详解laravel passport OAuth2.0的4种模式
2019/11/04 PHP
laravel 框架结合关联查询 when()用法分析
2019/11/22 PHP
JS实现的车标图片提示效果代码
2015/10/10 Javascript
vue-vuex中使用commit提交mutation来修改state的方法详解
2018/09/16 Javascript
Node.js中Koa2在控制台输出请求日志的方法示例
2019/05/02 Javascript
vue+egg+jwt实现登录验证的示例代码
2019/05/18 Javascript
Vuex模块化应用实践示例
2020/02/03 Javascript
vue使用axios实现excel文件下载的功能
2020/07/16 Javascript
[00:34]TI7不朽珍藏III——地穴编织者不朽展示
2017/07/15 DOTA
跟老齐学Python之用Python计算
2014/09/12 Python
Python实现从百度API获取天气的方法
2015/03/11 Python
pycharm重置设置,恢复默认设置的方法
2018/10/22 Python
Python中判断子串存在的性能比较及分析总结
2019/06/23 Python
深入解析神经网络从原理到实现
2019/07/26 Python
selenium+python实现自动登陆QQ邮箱并发送邮件功能
2019/12/13 Python
Python动态声明变量赋值代码实例
2019/12/30 Python
Python3 shutil(高级文件操作模块)实例用法总结
2020/02/19 Python
Python实现鼠标自动在屏幕上随机移动功能
2020/03/14 Python
python实现贪吃蛇游戏源码
2020/03/21 Python
Python获取指定网段正在使用的IP
2020/12/14 Python
Python接口自动化系列之unittest结合ddt的使用教程详解
2021/02/23 Python
利用Opencv实现图片的油画特效实例
2021/02/28 Python
Made in Design德国:设计师家具、灯具和装饰
2019/10/31 全球购物
Ibatis中如何提高SQL Map的性能
2013/05/11 面试题
C#实现对任一张表的数据进行增,删,改,查要求,运用Webservice,体现出三层架构
2014/07/11 面试题
法制宣传标语集锦
2014/06/25 职场文书
学习十八大演讲稿
2014/09/15 职场文书
2015年保卫科工作总结
2015/05/14 职场文书
2015年信息宣传工作总结
2015/05/26 职场文书
2016基督教会圣诞节开幕词
2016/03/04 职场文书
总结高并发下Nginx性能如何优化
2021/11/01 Servers