scrapy-redis的安装部署步骤讲解


Posted in Python onFebruary 27, 2019

先说下自己的环境,redis是部署在centos上的,爬虫运行在windows上,

1. 安装redis

yum install -y redis

2. 修改配置文件

vi /etc/redis.conf

将 protected-mode no解注释,否则的话,在不设置密码情况下远程无法连接redis

3. 重启redis

systemctl restart redis

4. 关闭防火墙

systemctl stop firewalld.service

5. 开始创建scrapy-redis的相关,和普通的scrapy一样的创建,只不过修改setting.py文件,添加一行

REDIS_URL = 'redis://192.168.61.130:6379'

6. 修改spiders.py文件

# -*- coding: utf-8 -*-
from scrapy_redis.spiders import RedisSpider
class ExampleSpider(RedisSpider):
  name = 'myspider'
  redis_key = 'test_key'
  allowed_domains = ['www.example.com']
  def parse(self, response):
    print(1111)
    pass

7. 可以执行这个爬虫了

scrapy runspider example.py

8. 进入redis 

redis-cli -h 127.0.0.1 -p
rpush test_key http://test.com

即可看到爬虫开始运行了

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
python开发之字符串string操作方法实例详解
Nov 12 Python
python使用电子邮件模块smtplib的方法
Aug 28 Python
Linux下Python安装完成后使用pip命令的详细教程
Nov 22 Python
Python文件如何引入?详解引入Python文件步骤
Dec 10 Python
Python字典遍历操作实例小结
Mar 05 Python
pytorch打印网络结构的实例
Aug 19 Python
Django框架模板用法入门教程
Nov 04 Python
python3 tkinter实现添加图片和文本
Nov 26 Python
将pymysql获取到的数据类型是tuple转化为pandas方式
May 15 Python
python 从list中随机取值的方法
Nov 16 Python
Python实现滑雪小游戏
Sep 25 Python
LeetCode189轮转数组python示例
Aug 05 Python
python三引号输出方法
Feb 27 #Python
浅析python的Lambda表达式
Feb 27 #Python
PySide和PyQt加载ui文件的两种方法
Feb 27 #Python
Python利用字典破解WIFI密码的方法
Feb 27 #Python
pyside+pyqt实现鼠标右键菜单功能
Dec 08 #Python
基于PyQt4和PySide实现输入对话框效果
Feb 27 #Python
python使用PyQt5的简单方法
Feb 27 #Python
You might like
海贼王:最美的悬赏令!
2020/03/02 日漫
php setcookie函数的参数说明及其用法
2014/04/20 PHP
使用PHP免费发送定时短信的实例
2016/10/24 PHP
老生常谈PHP 文件写入和读取(必看篇)
2017/05/22 PHP
Laravel框架运行出错提示RuntimeException No application encryption key has been specified.解决方法
2019/04/02 PHP
javascript 特性检测并非浏览器检测
2010/01/15 Javascript
jQuery+ajax实现顶一下,踩一下效果
2010/07/17 Javascript
加速IE的Javascript document输出的方法
2010/12/02 Javascript
js 实现 input type="file" 文件上传示例代码
2013/08/07 Javascript
JavaScript子类用Object.getPrototypeOf去调用父类方法解析
2013/12/05 Javascript
Jquery方式获取iframe页面中的 Dom元素
2014/05/07 Javascript
Bootstrap开关(switch)控件学习笔记分享
2016/05/30 Javascript
BootStrap树状图显示功能
2016/11/24 Javascript
深入学习Bootstrap表单
2016/12/13 Javascript
js闭包用法实例详解
2016/12/13 Javascript
Vue.js组件tab实现选项卡切换
2020/03/23 Javascript
基于Vuejs和Element的注册插件的编写方法
2017/07/03 Javascript
vue绑定的点击事件阻止冒泡的实例
2018/02/08 Javascript
浅析Vue 中的 render 函数
2020/02/28 Javascript
如何使用RoughViz可视化Vue.js中的草绘图表
2021/01/30 Vue.js
[02:16]DOTA2超级联赛专访Burning 逆袭需要抓住机会
2013/06/24 DOTA
[55:11]完美世界DOTA2联赛PWL S2 SZ vs LBZS 第一场 11.26
2020/11/30 DOTA
python插入排序算法的实现代码
2013/11/21 Python
Python 获得命令行参数的方法(推荐)
2018/01/24 Python
Python编程实现从字典中提取子集的方法分析
2018/02/09 Python
Python使用matplotlib绘图无法显示中文问题的解决方法
2018/03/14 Python
Python numpy实现二维数组和一维数组拼接的方法
2018/06/05 Python
python中几种自动微分库解析
2019/08/29 Python
CSS3按钮鼠标悬浮实现光圈效果源码
2016/09/11 HTML / CSS
实例讲解使用SVG制作loading加载动画的方法
2016/04/05 HTML / CSS
美国瑜伽品牌:Gaiam
2017/10/31 全球购物
澳大利亚购买健身器材网站:Gym Direct
2019/12/19 全球购物
群众路线教育实践活动学习心得体会
2014/10/30 职场文书
2014年乡镇民政工作总结
2014/12/02 职场文书
2015年党总支工作总结
2015/05/25 职场文书
师德师风心得体会(2016精选篇)
2016/01/12 职场文书