scrapy-redis的安装部署步骤讲解


Posted in Python onFebruary 27, 2019

先说下自己的环境,redis是部署在centos上的,爬虫运行在windows上,

1. 安装redis

yum install -y redis

2. 修改配置文件

vi /etc/redis.conf

将 protected-mode no解注释,否则的话,在不设置密码情况下远程无法连接redis

3. 重启redis

systemctl restart redis

4. 关闭防火墙

systemctl stop firewalld.service

5. 开始创建scrapy-redis的相关,和普通的scrapy一样的创建,只不过修改setting.py文件,添加一行

REDIS_URL = 'redis://192.168.61.130:6379'

6. 修改spiders.py文件

# -*- coding: utf-8 -*-
from scrapy_redis.spiders import RedisSpider
class ExampleSpider(RedisSpider):
  name = 'myspider'
  redis_key = 'test_key'
  allowed_domains = ['www.example.com']
  def parse(self, response):
    print(1111)
    pass

7. 可以执行这个爬虫了

scrapy runspider example.py

8. 进入redis 

redis-cli -h 127.0.0.1 -p
rpush test_key http://test.com

即可看到爬虫开始运行了

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
利用Python循环(包括while&for)各种打印九九乘法表的实例
Nov 06 Python
Python编写Windows Service服务程序
Jan 04 Python
Django rest framework基本介绍与代码示例
Jan 26 Python
Python中if elif else及缩进的使用简述
May 31 Python
Python socket实现的简单通信功能示例
Aug 21 Python
python3 小数位的四舍五入(用两种方法解决round 遇5不进)
Apr 11 Python
OpenCV python sklearn随机超参数搜索的实现
Jan 17 Python
python GUI库图形界面开发之PyQt5 MDI(多文档窗口)QMidArea详细使用方法与实例
Mar 05 Python
基于Python第三方插件实现西游记章节标注汉语拼音的方法
May 22 Python
PyInstaller运行原理及常用操作详解
Jun 13 Python
Python实现爬取并分析电商评论
Jun 19 Python
Python爬虫自动化获取华图和粉笔网站的错题(推荐)
Jan 08 Python
python三引号输出方法
Feb 27 #Python
浅析python的Lambda表达式
Feb 27 #Python
PySide和PyQt加载ui文件的两种方法
Feb 27 #Python
Python利用字典破解WIFI密码的方法
Feb 27 #Python
pyside+pyqt实现鼠标右键菜单功能
Dec 08 #Python
基于PyQt4和PySide实现输入对话框效果
Feb 27 #Python
python使用PyQt5的简单方法
Feb 27 #Python
You might like
php 清除网页病毒的方法
2008/12/05 PHP
ThinkPHP行为扩展Behavior应用实例详解
2014/07/22 PHP
php魔术变量用法实例详解
2014/11/13 PHP
Symfony2实现从数据库获取数据的方法小结
2016/03/18 PHP
php array_reverse 以相反的顺序返回数组实例代码
2017/04/11 PHP
关于 Laravel Redis 多个进程同时取队列问题详解
2017/12/25 PHP
onmouseover和onmouseout的一些问题思考
2013/08/14 Javascript
jQuery带箭头提示框tooltips插件集锦
2014/11/17 Javascript
Eclipse配置Javascript开发环境图文教程
2015/01/29 Javascript
JavaScript阻止浏览器返回按钮的方法
2015/03/18 Javascript
jQuery插件Tooltipster实现漂亮的工具提示
2015/04/12 Javascript
理解javascript中DOM事件
2015/12/25 Javascript
jQuery实现下拉框多选 jquery-multiselect 的实例代码
2016/07/14 Javascript
vue自定义指令实现v-tap插件
2016/11/03 Javascript
微信小程序 闭包写法详细介绍
2016/12/14 Javascript
基于vue实现swipe轮播组件实例代码
2017/05/24 Javascript
JavaScript事件方法(实例讲解)
2017/06/27 Javascript
关于JavaScript中的this指向问题总结篇
2017/07/23 Javascript
vue.js评论发布信息可插入QQ表情功能
2017/08/08 Javascript
Angular4.x通过路由守卫进行路由重定向实现根据条件跳转到相应的页面(推荐)
2018/05/10 Javascript
Node.js在图片模板上生成二维码图片并附带底部文字说明实现详解
2019/08/07 Javascript
element-ui 本地化使用教程详解
2019/10/28 Javascript
原生javascript的ajax请求及后台PHP响应操作示例
2020/02/24 Javascript
JS highcharts动态柱状图原理及实现
2020/10/16 Javascript
[45:46]2014 DOTA2国际邀请赛中国区预选赛5.21 HGT VS DT
2014/05/23 DOTA
python 在指定范围内随机生成不重复的n个数实例
2019/01/28 Python
Python 实现向word(docx)中输出
2020/02/13 Python
CSS 说明横向进度条最后显示文字的实现代码
2020/11/10 HTML / CSS
猫途鹰英国网站:TripAdvisor英国(旅游社区和旅游评论)
2016/08/30 全球购物
美国美发品牌:Bumble and Bumble
2016/10/08 全球购物
高清安全摄像头系统:Lorex Technology
2018/07/20 全球购物
Athleta官网:购买女士瑜伽服、技术运动服和休闲运动服
2020/11/12 全球购物
销售顾问的岗位职责
2013/11/13 职场文书
会计核算科岗位职责
2014/03/19 职场文书
2015年征兵工作总结
2015/07/23 职场文书
python 离散点图画法的实现
2022/04/01 Python