python scrapy重复执行实现代码详解


Posted in Python onDecember 28, 2019

这篇文章主要介绍了python scrapy重复执行实现代码详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,我们只需要实现少量的代码,就能够快速的抓取

Scrapy模块:

1、scheduler:用来存放url队列

2、downloader:发送请求

3、spiders:提取数据和url

4、itemPipeline:数据保存

from twisted.internet import reactor, defer
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
import time
import logging
from scrapy.utils.project import get_project_settings
 
 
#在控制台打印日志
configure_logging()
#CrawlerRunner获取settings.py里的设置信息
runner = CrawlerRunner(get_project_settings())
 
@defer.inlineCallbacks
def crawl():
  while True:
    logging.info("new cycle starting")
    yield runner.crawl("xxxxx")
    #1s跑一次
    time.sleep(1)
  reactor.stop()
 
crawl()
reactor.run()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现模拟按键,自动翻页看u17漫画
Mar 17 Python
python3实现磁盘空间监控
Jun 21 Python
python实现学员管理系统
Feb 26 Python
pymongo中group by的操作方法教程
Mar 22 Python
python函数局部变量、全局变量、递归知识点总结
Nov 15 Python
sklearn+python:线性回归案例
Feb 24 Python
python实现梯度下降法
Mar 24 Python
Django+Celery实现动态配置定时任务的方法示例
May 26 Python
Python+Kepler.gl轻松制作酷炫路径动画的实现示例
Jun 02 Python
Python3基于plotly模块保存图片表格
Aug 03 Python
详解Pytorch显存动态分配规律探索
Nov 17 Python
Python实现数据的序列化操作详解
Jul 07 Python
Python统计时间内的并发数代码实例
Dec 28 #Python
如何基于python实现脚本加密
Dec 28 #Python
python使用配置文件过程详解
Dec 28 #Python
python正则表达式匹配IP代码实例
Dec 28 #Python
python爬虫模拟浏览器访问-User-Agent过程解析
Dec 28 #Python
python爬虫添加请求头代码实例
Dec 28 #Python
python使用rsa非对称加密过程解析
Dec 28 #Python
You might like
CI框架在CLI下执行占用内存过大问题的解决方法
2014/06/17 PHP
PHP定义字符串的四种方式详解
2018/02/06 PHP
PHP实时统计中文字数和区别
2019/02/28 PHP
Jquery中Ajax 缓存带来的影响的解决方法
2011/05/19 Javascript
window.event快达到全浏览器支持了,以后使用就方便了
2011/11/30 Javascript
jQuery UI Autocomplete 1.8.16 中文输入修正代码
2012/04/16 Javascript
js 获取后台的字段 改变 checkbox的被选中的状态 代码
2013/06/05 Javascript
JavaScript—window对象使用示例
2013/12/09 Javascript
详解JavaScript语言的基本语法要求
2015/11/20 Javascript
借助FileReader实现将文件编码为Base64后通过AJAX上传
2015/12/24 Javascript
JS动态创建元素的两种方法
2016/04/20 Javascript
js基础之DOM中document对象的常用属性方法详解
2016/10/28 Javascript
JS中跨页面调用变量和函数的方法(例如a.js 和 b.js中互相调用)
2016/11/01 Javascript
javascript-解决mongoose数据查询的异步操作
2016/12/22 Javascript
js实现QQ面板拖拽效果(慕课网DOM事件探秘)(全)
2017/09/19 Javascript
原生JS获取元素的位置与尺寸实现方法
2017/10/18 Javascript
Vue+Flask实现简单的登录验证跳转的示例代码
2018/01/13 Javascript
利用js将ajax获取到的后台数据动态加载至网页中的方法
2018/08/08 Javascript
JS中数据结构与算法---排序算法(Sort Algorithm)实例详解
2019/06/17 Javascript
如何基于JS截获动态代码
2019/12/25 Javascript
Javascript实现鼠标移入方向感知
2020/06/24 Javascript
[01:59]DOTA2首部纪录片《Free to play》预告片
2014/03/12 DOTA
python实现斐波那契递归函数的方法
2014/09/08 Python
使用Python来开发Markdown脚本扩展的实例分享
2016/03/04 Python
python列表的常用操作方法小结
2016/05/21 Python
sublime text 3配置使用python操作方法
2017/06/11 Python
python实现图片识别汽车功能
2018/11/30 Python
Python 安装第三方库 pip install 安装慢安装不上的解决办法
2019/06/18 Python
CSS3教程(2):网页边框半径和网页圆角
2009/04/02 HTML / CSS
意大利体育用品和运动服网上商店:Maxi Sport
2019/09/14 全球购物
Hammitt官网:设计师手袋
2020/05/23 全球购物
火车来了教学反思
2014/02/11 职场文书
2014年圣诞节寄语
2014/12/08 职场文书
2015年禁毒宣传活动总结
2015/03/25 职场文书
手写实现JS中的new
2021/11/07 Javascript
python解析照片拍摄时间进行图片整理
2022/07/23 Python