scrapy-redis的安装部署步骤讲解


Posted in Python onFebruary 27, 2019

先说下自己的环境,redis是部署在centos上的,爬虫运行在windows上,

1. 安装redis

yum install -y redis

2. 修改配置文件

vi /etc/redis.conf

将 protected-mode no解注释,否则的话,在不设置密码情况下远程无法连接redis

3. 重启redis

systemctl restart redis

4. 关闭防火墙

systemctl stop firewalld.service

5. 开始创建scrapy-redis的相关,和普通的scrapy一样的创建,只不过修改setting.py文件,添加一行

REDIS_URL = 'redis://192.168.61.130:6379'

6. 修改spiders.py文件

# -*- coding: utf-8 -*-
from scrapy_redis.spiders import RedisSpider
class ExampleSpider(RedisSpider):
  name = 'myspider'
  redis_key = 'test_key'
  allowed_domains = ['www.example.com']
  def parse(self, response):
    print(1111)
    pass

7. 可以执行这个爬虫了

scrapy runspider example.py

8. 进入redis 

redis-cli -h 127.0.0.1 -p
rpush test_key http://test.com

即可看到爬虫开始运行了

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
Python3基础之输入和输出实例分析
Aug 18 Python
Python实现基本数据结构中栈的操作示例
Dec 04 Python
分析python切片原理和方法
Dec 19 Python
python使用itchat实现手机控制电脑
Feb 22 Python
Python将文本去空格并保存到txt文件中的实例
Jul 24 Python
python实现栅栏加解密 支持密钥加密
Mar 20 Python
Django Celery异步任务队列的实现
Jul 24 Python
Python切图九宫格的实现方法
Oct 10 Python
pytorch 归一化与反归一化实例
Dec 31 Python
Python Scrapy框架第一个入门程序示例
Feb 05 Python
解决Jupyter Notebook开始菜单栏Anaconda下消失的问题
Apr 13 Python
详解Python中string模块除去Str还剩下什么
Nov 30 Python
python三引号输出方法
Feb 27 #Python
浅析python的Lambda表达式
Feb 27 #Python
PySide和PyQt加载ui文件的两种方法
Feb 27 #Python
Python利用字典破解WIFI密码的方法
Feb 27 #Python
pyside+pyqt实现鼠标右键菜单功能
Dec 08 #Python
基于PyQt4和PySide实现输入对话框效果
Feb 27 #Python
python使用PyQt5的简单方法
Feb 27 #Python
You might like
深入了解php4(2)--重访过去
2006/10/09 PHP
使用PHP静态变量当缓存的方法
2013/11/13 PHP
php开启与关闭错误提示适用于没有修改php.ini的权限
2014/10/16 PHP
PHP 微信支付类 demo
2015/11/30 PHP
php基于Fleaphp框架实现cvs数据导入MySQL的方法
2016/02/23 PHP
解决Laravel5.2 Auth认证退出失效的问题
2019/10/14 PHP
二叉树的非递归后序遍历算法实例详解
2014/02/07 Javascript
JavaScript实现的一个倒计时的类
2015/03/12 Javascript
IE8下jQuery改变png图片透明度时出现的黑边
2015/08/30 Javascript
Node.js静态文件服务器改进版
2016/01/10 Javascript
JS版微信6.0分享接口用法分析
2016/10/13 Javascript
使用JavaScript实现一个小程序之99乘法表
2017/09/21 Javascript
vue源码nextTick使用及原理解析
2019/08/13 Javascript
JS数组方法push()、pop()用法实例分析
2020/01/18 Javascript
vant 解决tab切换插件标题样式自定义的问题
2020/11/13 Javascript
[02:19]2014DOTA2国际邀请赛 专访820少年们一起去追梦吧
2014/07/14 DOTA
[01:27:30]LGD vs Newbee 2019国际邀请赛小组赛 BO2 第二场 8.16
2019/08/19 DOTA
压缩包密码破解示例分享(类似典破解)
2014/01/17 Python
python出现"IndentationError: unexpected indent"错误解决办法
2017/10/15 Python
python 美化输出信息的实例
2018/10/15 Python
pycharm 将python文件打包为exe格式的方法
2019/01/16 Python
PyQt5 QTableView设置某一列不可编辑的方法
2019/06/25 Python
python 实现创建文件夹和创建日志文件的方法
2019/07/07 Python
django的聚合函数和aggregate、annotate方法使用详解
2019/07/23 Python
Python代理IP爬虫的新手使用教程
2019/09/05 Python
Django多进程滚动日志问题解决方案
2019/12/17 Python
Django框架获取form表单数据方式总结
2020/04/22 Python
Python函数递归调用实现原理实例解析
2020/08/11 Python
英国伦敦的睡衣品牌:Asceno
2019/10/06 全球购物
读书活动实施方案
2014/03/10 职场文书
平安工地建设方案
2014/05/06 职场文书
岗位职责说明书模板
2014/07/30 职场文书
员工给公司的建议书
2019/06/24 职场文书
标会主持词应该怎么写?
2019/08/15 职场文书
Python - 10行代码集2000张美女图
2021/05/23 Python
Python+Tkinter打造签名设计工具
2022/04/01 Python