python scrapy重复执行实现代码详解


Posted in Python onDecember 28, 2019

这篇文章主要介绍了python scrapy重复执行实现代码详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,我们只需要实现少量的代码,就能够快速的抓取

Scrapy模块:

1、scheduler:用来存放url队列

2、downloader:发送请求

3、spiders:提取数据和url

4、itemPipeline:数据保存

from twisted.internet import reactor, defer
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
import time
import logging
from scrapy.utils.project import get_project_settings
 
 
#在控制台打印日志
configure_logging()
#CrawlerRunner获取settings.py里的设置信息
runner = CrawlerRunner(get_project_settings())
 
@defer.inlineCallbacks
def crawl():
  while True:
    logging.info("new cycle starting")
    yield runner.crawl("xxxxx")
    #1s跑一次
    time.sleep(1)
  reactor.stop()
 
crawl()
reactor.run()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python sys模块sys.path使用方法示例
Dec 04 Python
Python使用min、max函数查找二维数据矩阵中最小、最大值的方法
May 15 Python
使用numpy和PIL进行简单的图像处理方法
Jul 02 Python
python实现播放音频和录音功能示例代码
Dec 30 Python
python 猴子补丁(monkey patch)
Jun 26 Python
python 消费 kafka 数据教程
Dec 21 Python
Python面向对象原理与基础语法详解
Jan 02 Python
pytorch快速搭建神经网络_Sequential操作
Jun 17 Python
简单了解Python字典copy与赋值的区别
Sep 16 Python
windows+vscode安装paddleOCR运行环境的步骤
Nov 11 Python
opencv python 对指针仪表读数识别的两种方式
Jan 14 Python
Python基础之数据类型知识汇总
May 18 Python
Python统计时间内的并发数代码实例
Dec 28 #Python
如何基于python实现脚本加密
Dec 28 #Python
python使用配置文件过程详解
Dec 28 #Python
python正则表达式匹配IP代码实例
Dec 28 #Python
python爬虫模拟浏览器访问-User-Agent过程解析
Dec 28 #Python
python爬虫添加请求头代码实例
Dec 28 #Python
python使用rsa非对称加密过程解析
Dec 28 #Python
You might like
php下利用curl判断远程文件是否存在的实现代码
2011/10/08 PHP
PHP设计模式 注册表模式
2012/02/05 PHP
php对数组排序代码分享
2014/02/24 PHP
PHP中SESSION的注销与清除
2015/04/16 PHP
基于jquery的鼠标拖动效果代码
2012/05/30 Javascript
jquery 事件冒泡的介绍以及如何阻止事件冒泡
2012/12/25 Javascript
兼容主流浏览器的iframe自适应高度js脚本
2014/01/10 Javascript
js实现鼠标感应向下滑动隐藏菜单的方法
2015/02/20 Javascript
使用JavaScript的AngularJS库编写hello world的方法
2015/06/23 Javascript
JavaScript数组对象实现增加一个返回随机元素的方法
2015/07/27 Javascript
js实现input框文字动态变换显示效果
2015/08/19 Javascript
jQuery通过ajax请求php遍历json数组到table中的代码(推荐)
2016/06/12 Javascript
jquery仿京东侧边栏导航效果
2017/03/02 Javascript
JS判断Android、iOS或浏览器的多种方法(四种方法)
2017/06/29 Javascript
Nodejs之http的表单提交
2017/07/07 NodeJs
JavaScript实现计数器基础方法
2017/10/10 Javascript
微信小程序模拟cookie的实现
2018/06/20 Javascript
详解Vue+axios+Node+express实现文件上传(用户头像上传)
2018/08/10 Javascript
基于Python os模块常用命令介绍
2017/11/03 Python
Python将string转换到float的实例方法
2019/07/29 Python
django创建超级用户过程解析
2019/09/18 Python
Django 允许局域网中的机器访问你的主机操作
2020/05/13 Python
解决Python import .pyd 可能遇到路径的问题
2021/03/04 Python
canvas实现扭蛋机动画效果的示例代码
2018/10/17 HTML / CSS
如何让pre和textarea等HTML元素去掉滚动条自动换行自适应文本内容高度
2019/08/01 HTML / CSS
西班牙拥有最佳品牌的动物商店:Animalear.com
2018/01/05 全球购物
Jacadi Paris英国官网:法国童装品牌
2019/08/09 全球购物
欧洲最古老的鞋厂:Peter Kaiser
2019/11/05 全球购物
C#笔试题和英文面试题
2013/02/07 面试题
摄影助理岗位职责
2014/02/07 职场文书
读书活动总结范文
2014/04/26 职场文书
2014教师“四风问题”对照检查材料思想汇报
2014/09/16 职场文书
副总经理岗位职责范本
2015/04/08 职场文书
朋友聚会祝酒词
2015/08/10 职场文书
中秋节祝酒词
2015/08/12 职场文书
Python基础之元类详解
2021/04/29 Python