python scrapy重复执行实现代码详解


Posted in Python onDecember 28, 2019

这篇文章主要介绍了python scrapy重复执行实现代码详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,我们只需要实现少量的代码,就能够快速的抓取

Scrapy模块:

1、scheduler:用来存放url队列

2、downloader:发送请求

3、spiders:提取数据和url

4、itemPipeline:数据保存

from twisted.internet import reactor, defer
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
import time
import logging
from scrapy.utils.project import get_project_settings
 
 
#在控制台打印日志
configure_logging()
#CrawlerRunner获取settings.py里的设置信息
runner = CrawlerRunner(get_project_settings())
 
@defer.inlineCallbacks
def crawl():
  while True:
    logging.info("new cycle starting")
    yield runner.crawl("xxxxx")
    #1s跑一次
    time.sleep(1)
  reactor.stop()
 
crawl()
reactor.run()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python代码制作configure文件示例
Jul 28 Python
使用Python简单的实现树莓派的WEB控制
Feb 18 Python
Python基于pillow判断图片完整性的方法
Sep 18 Python
Python之日期与时间处理模块(date和datetime)
Feb 16 Python
Python 多线程Threading初学教程
Aug 22 Python
python+mongodb数据抓取详细介绍
Oct 25 Python
python3+pyqt5+itchat微信定时发送消息的方法
Feb 20 Python
对Python中小整数对象池和大整数对象池的使用详解
Jul 09 Python
python中的反斜杠问题深入讲解
Aug 12 Python
python 实现简单的FTP程序
Dec 27 Python
pytorch使用horovod多gpu训练的实现
Sep 09 Python
python requests模块的使用示例
Apr 07 Python
Python统计时间内的并发数代码实例
Dec 28 #Python
如何基于python实现脚本加密
Dec 28 #Python
python使用配置文件过程详解
Dec 28 #Python
python正则表达式匹配IP代码实例
Dec 28 #Python
python爬虫模拟浏览器访问-User-Agent过程解析
Dec 28 #Python
python爬虫添加请求头代码实例
Dec 28 #Python
python使用rsa非对称加密过程解析
Dec 28 #Python
You might like
php 禁止页面缓存输出
2009/01/07 PHP
非常实用的php验证码类
2016/05/15 PHP
Paypal实现循环扣款(订阅)功能
2017/03/23 PHP
PHP常用日期加减计算方法实例小结
2018/07/31 PHP
PHP中的输出echo、print、printf、sprintf、print_r和var_dump的示例代码
2020/12/01 PHP
用javascript将数据库中的TEXT类型数据动态赋值到TEXTAREA中
2007/04/20 Javascript
一个JavaScript变量声明的知识点
2013/10/28 Javascript
eclipse如何忽略js文件报错(附图)
2013/10/30 Javascript
js获取页面传来参数的方法
2014/09/06 Javascript
jQuery的one()方法用法实例
2015/01/19 Javascript
浅谈javascript中的instanceof和typeof
2015/02/27 Javascript
Jquery遍历Json数据的方法
2015/04/20 Javascript
轮播的简单实现方法
2016/07/28 Javascript
jQuery插件开发发送短信倒计时功能代码
2017/05/09 jQuery
javascript将url解析为json格式的两种方法
2017/08/18 Javascript
javascript观察者模式实现自动刷新效果
2017/09/05 Javascript
基于JavaScript实现幸运抽奖页面
2020/07/05 Javascript
js实现文件上传功能 后台使用MultipartFile
2018/09/08 Javascript
微信小程序制作扭蛋机代码实例
2019/09/24 Javascript
Django读取Mysql数据并显示在前端的实例
2018/05/27 Python
Python 动态变量名定义与调用方法
2020/02/09 Python
Python IDLE或shell中切换路径的操作
2020/03/09 Python
PyCharm 2020 激活到 2100 年的教程
2020/03/25 Python
2021年值得向Python开发者推荐的VS Code扩展插件
2021/01/25 Python
纯CSS实现右侧底部悬浮效果(悬浮QQ、微信、微博、邮箱等联系方式)
2015/04/24 HTML / CSS
linux面试题参考答案(2)
2015/12/06 面试题
商务英语专业毕业生求职信
2014/07/06 职场文书
英文演讲稿开场白
2014/08/25 职场文书
2015年后勤工作总结范文
2015/04/08 职场文书
市场部岗位职责范本
2015/04/15 职场文书
初中生活随笔
2015/08/15 职场文书
2016年暑期见闻作文
2015/11/25 职场文书
学习《中小学教师职业道德规范》心得体会
2016/01/18 职场文书
Golang 语言控制并发 Goroutine的方法
2021/06/30 Golang
python自动化八大定位元素讲解
2021/07/09 Python
Python必备技巧之字符数据操作详解
2022/03/23 Python