python scrapy重复执行实现代码详解


Posted in Python onDecember 28, 2019

这篇文章主要介绍了python scrapy重复执行实现代码详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,我们只需要实现少量的代码,就能够快速的抓取

Scrapy模块:

1、scheduler:用来存放url队列

2、downloader:发送请求

3、spiders:提取数据和url

4、itemPipeline:数据保存

from twisted.internet import reactor, defer
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
import time
import logging
from scrapy.utils.project import get_project_settings
 
 
#在控制台打印日志
configure_logging()
#CrawlerRunner获取settings.py里的设置信息
runner = CrawlerRunner(get_project_settings())
 
@defer.inlineCallbacks
def crawl():
  while True:
    logging.info("new cycle starting")
    yield runner.crawl("xxxxx")
    #1s跑一次
    time.sleep(1)
  reactor.stop()
 
crawl()
reactor.run()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Django获取应用下的所有models的例子
Aug 30 Python
Python实现基于socket的udp传输与接收功能详解
Nov 15 Python
Python:slice与indices的用法
Nov 25 Python
Docker部署Python爬虫项目的方法步骤
Jan 19 Python
django实现将后台model对象转换成json对象并传递给前端jquery
Mar 16 Python
python文件及目录操作代码汇总
Jul 08 Python
Django serializer优化类视图的实现示例
Jul 16 Python
Python分类测试代码实例汇总
Jul 23 Python
Python析构函数__del__定义原理解析
Nov 20 Python
python工具——Mimesis的简单使用教程
Jan 16 Python
Python中使用Selenium环境安装的方法步骤
Feb 22 Python
python实现简易名片管理系统
Apr 11 Python
Python统计时间内的并发数代码实例
Dec 28 #Python
如何基于python实现脚本加密
Dec 28 #Python
python使用配置文件过程详解
Dec 28 #Python
python正则表达式匹配IP代码实例
Dec 28 #Python
python爬虫模拟浏览器访问-User-Agent过程解析
Dec 28 #Python
python爬虫添加请求头代码实例
Dec 28 #Python
python使用rsa非对称加密过程解析
Dec 28 #Python
You might like
使用JavaScript创建新样式表和新样式规则
2016/06/14 PHP
分析PHP中单双引号的误区和双引号小隐患
2016/07/19 PHP
jquery实现图片左右间隔滚动特效(可自动播放)
2013/05/08 Javascript
动态创建script在IE中缓存js文件时导致编码的解决方法
2014/05/04 Javascript
jquery使用$(element).is()来判断获取的tagName
2014/08/24 Javascript
AspNet中使用JQuery上传插件Uploadify详解
2015/05/20 Javascript
学习JavaScript设计模式(单例模式)
2015/11/26 Javascript
BootStrap轮播HTML代码(推荐)
2016/12/10 Javascript
javascript判断元素存在和判断元素存在于实时的dom中的方法
2017/01/17 Javascript
JavaScript判断浏览器和hack滚动条的写法
2017/07/23 Javascript
jQuery使用bind函数实现绑定多个事件的方法
2017/10/11 jQuery
vue 集成jTopo 处理方法
2019/08/07 Javascript
js实现图片粘贴到网页
2019/12/06 Javascript
基于html+css+js实现简易计算器代码实例
2020/02/28 Javascript
[09:31]2016国际邀请赛中国区预选赛Yao赛后采访 答题送礼
2016/06/27 DOTA
[04:50]2019DOTA2高校联赛秋季赛四强集锦
2019/12/27 DOTA
python中的对象拷贝示例 python引用传递
2014/01/23 Python
Python 遍历列表里面序号和值的方法(三种)
2017/02/17 Python
Python3并发写文件与Python对比
2019/11/20 Python
Python unittest基本使用方法代码实例
2020/06/29 Python
Python QTimer实现多线程及QSS应用过程解析
2020/07/11 Python
python实现数字炸弹游戏
2020/07/17 Python
python操作redis数据库的三种方法
2020/09/10 Python
Python数据分析库pandas高级接口dt的使用详解
2020/12/11 Python
python中time、datetime模块的使用
2020/12/14 Python
Python使用tkinter制作在线翻译软件
2021/02/22 Python
佳能英国官方网站:Canon UK
2017/08/08 全球购物
美国庭院家具购物网站:AlphaMarts
2019/04/10 全球购物
益模软件Java笔试题
2012/03/27 面试题
幼儿园中班教学反思
2014/02/10 职场文书
2015年劳动部工作总结
2015/05/23 职场文书
骆驼祥子读书笔记
2015/06/26 职场文书
老舍《猫》教学反思
2016/02/17 职场文书
MySQL示例讲解数据库约束以及表的设计
2022/06/16 MySQL
MyBatis XPathParser解析器使用范例详解
2022/07/15 Java/Android
JS前端使用canvas实现物体的点选示例
2022/08/05 Javascript