python scrapy重复执行实现代码详解


Posted in Python onDecember 28, 2019

这篇文章主要介绍了python scrapy重复执行实现代码详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,我们只需要实现少量的代码,就能够快速的抓取

Scrapy模块:

1、scheduler:用来存放url队列

2、downloader:发送请求

3、spiders:提取数据和url

4、itemPipeline:数据保存

from twisted.internet import reactor, defer
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
import time
import logging
from scrapy.utils.project import get_project_settings
 
 
#在控制台打印日志
configure_logging()
#CrawlerRunner获取settings.py里的设置信息
runner = CrawlerRunner(get_project_settings())
 
@defer.inlineCallbacks
def crawl():
  while True:
    logging.info("new cycle starting")
    yield runner.crawl("xxxxx")
    #1s跑一次
    time.sleep(1)
  reactor.stop()
 
crawl()
reactor.run()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现的检测web服务器健康状况的小程序
Sep 17 Python
python网络编程实例简析
Sep 26 Python
实例讲解Python的函数闭包使用中应注意的问题
Jun 20 Python
浅谈Python处理PDF的方法
Nov 10 Python
python修改list中所有元素类型的三种方法
Apr 09 Python
python中的变量如何开辟内存
Jun 26 Python
几行Python代码爬取3000+上市公司的信息
Jan 24 Python
python实现电子产品商店
Feb 26 Python
python中Django文件上传方法详解
Aug 05 Python
解决Python3.8运行tornado项目报NotImplementedError错误
Sep 02 Python
python修改微信和支付宝步数的示例代码
Oct 12 Python
Python 生成短8位唯一id实战教程
Jan 13 Python
Python统计时间内的并发数代码实例
Dec 28 #Python
如何基于python实现脚本加密
Dec 28 #Python
python使用配置文件过程详解
Dec 28 #Python
python正则表达式匹配IP代码实例
Dec 28 #Python
python爬虫模拟浏览器访问-User-Agent过程解析
Dec 28 #Python
python爬虫添加请求头代码实例
Dec 28 #Python
python使用rsa非对称加密过程解析
Dec 28 #Python
You might like
smarty+adodb+部分自定义类的php开发模式
2006/12/31 PHP
详解PHP显示MySQL数据的三种方法
2008/06/05 PHP
PHP 组件化编程技巧
2009/06/06 PHP
PHP技术开发技巧分享
2010/03/23 PHP
php中邮箱地址正则表达式实现与详解
2012/04/24 PHP
PHP防止post重复提交数据的简单例子
2014/06/07 PHP
php+curl 发送图片处理代码分享
2015/07/09 PHP
PHP实现上传多图即时显示与即时删除的方法
2017/05/09 PHP
php检测mysql表是否存在的方法小结
2017/07/20 PHP
基于php中echo用逗号和用点号的区别详解
2018/01/23 PHP
Thinkphp5+uploadify实现的文件上传功能示例
2018/05/26 PHP
PHP数组实际占用内存大小原理解析
2020/12/11 PHP
JavaScript入门教程(10) 认识其他对象
2009/01/31 Javascript
JQuery调webservice实现邮箱验证(检测是否可用)
2013/05/21 Javascript
jQuery实现列表自动循环滚动鼠标悬停时停止滚动
2013/09/06 Javascript
JavaScript简单实现鼠标移动切换图片的方法
2016/02/23 Javascript
详解vue-Resource(与后端数据交互)
2017/01/16 Javascript
微信小程序实现登录页云层漂浮的动画效果
2017/05/05 Javascript
Nodejs中crypto模块的安全知识讲解
2018/01/03 NodeJs
webstrom Debug 调试vue项目的方法步骤
2018/07/17 Javascript
JavaScript模板引擎原理与用法详解
2018/12/24 Javascript
vue 调用 RESTful风格接口操作
2020/08/11 Javascript
python检测某个变量是否有定义的方法
2015/05/20 Python
学习python可以干什么
2019/02/26 Python
Django REST框架创建一个简单的Api实例讲解
2019/11/05 Python
pytorch 求网络模型参数实例
2019/12/30 Python
Python 简单计算要求形状面积的实例
2020/01/18 Python
python实现替换word中的关键文字(使用通配符)
2020/02/13 Python
Python json解析库jsonpath原理及使用示例
2020/11/25 Python
用html5实现语音搜索框的方法
2014/03/18 HTML / CSS
加拿大女鞋品牌:ALDO
2016/11/13 全球购物
英国复古服装购物网站:Collectif
2019/10/30 全球购物
副总经理任命书
2014/06/05 职场文书
护理专业求职信
2014/06/15 职场文书
挂职锻炼工作总结2015
2015/05/28 职场文书
一小时迅速入门Mybatis之bind与多数据源支持 Java API
2021/09/15 Javascript