scrapy处理python爬虫调度详解


Posted in Python onNovember 23, 2020

学习了简单的知识点,就会想要向有难度的问题挑战,这里必须要夸一夸小伙伴们。不过我们今天不需要做什么程序的测试,只用简单的两个代码对比,小伙伴们就能在其中体会两者的不同和难易程度。scrapy能否适合处理python爬虫调度的问题,小编直接说出答案小伙伴们也不能马上信服,下面就让我们在示例中找寻答案吧。

总的来说,需要使用代码来爬一些数据的大概分为两类人:

非程序员,需要爬一些数据来做毕业设计、市场调研等等,他们可能连 Python 都不是很熟;

程序员,需要设计大规模、分布式、高稳定性的爬虫系统,对他们来说,语言都无所谓的,更别说用不用框架了。

对于一个任何一个已经入门的程序员来说,Python 都算不上一个很复杂的语言,除了不用大括号可能让一些人感觉有些不适应之外,基本上看看语法上手就能写了。但是恰恰是因为我们都是老司机了,所以不能体会到使用一门编程语言对于外行来说可能『比登天还难』。如果不用 scrapy,可能我只需要这样:

import requests
def main():
  for i in range(100):
    rsp = requests.get(f"http://www.example.com/{i}.html")
    with open("example-{i}.txt", "w") as f:
      f.write(rsp.text)
if __name__ == "__main__":
  main()

就写好了一个简单的爬虫,而使用 scrapy 呢,大概需要这样吧:

import scrapy
class QuotesSpider(scrapy.Spider):
  name = 'quotes'
  def start_requests(self):
    urls = [
      'http://quotes.toscrape.com/page/1/',
      'http://quotes.toscrape.com/page/2/'
    ]
    for url in urls:
      yield scrapy.Request(url=url, callback=self.parse)
  def parse(self, response):
    page = response.url.split('/')[-2]
    filename = 'quotes-%s.html' % page
    with open(filename, 'wb') as f:
      f.write(response.body)
    self.log('Save file %s' % filename)

先不说代码增长了一倍有余,初学者会问到这些问题:什么是 class?为什么类还有参数?啊,什么是继承?yield 又是什么鬼,那个 scrapy.Request 又是啥?这些都是负担。

既然要开发大型爬虫系统,那么其中很重要的一部分就是爬虫的调度了。一种比较简单的模式是 scheduler 作为 master,全局调度。另一种模式没有 master,所有的爬虫 worker 都是对等的。在实际生产中显然是第一种用的更多。

显然 scheduler 这部分是不能再用一个爬虫框架来实现的,连主循环都没有咋写逻辑呢?我们可能还要实现增量爬取,或者消费业务方发来的爬取请求等各种业务,这块显然是在 scheduler 里面的,那么这个爬虫系统无非是 scheduler 分发任务给各个 worker 来抓取。worker 还可以使用 scrapy 实现,但是呢,这个 worker 其实已经弱化为一层薄薄的 downloader 了,那我要他干嘛呢?scrapy 的核心逻辑也不过是个深度或者广度优先的遍历而已,少一个依赖不好么……

爬虫的工作量要么在反爬,要么在调度等业务逻辑,本身只是一个 requests.get 而已,scrapy 提供的种种抽象对于初学者太复杂,大型系统又用不上,所以个人不推荐使用包括但不限于 scrapy 在内的所有爬虫框架。

内容扩展:

Scrapy模块

1、scheduler:用来存放url队列

2、downloader:发送请求

3、spiders:提取数据和url

4、itemPipeline:数据保存

from twisted.internet import reactor, defer
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
import time
import logging
from scrapy.utils.project import get_project_settings
 
 
#在控制台打印日志
configure_logging()
#CrawlerRunner获取settings.py里的设置信息
runner = CrawlerRunner(get_project_settings())
 
@defer.inlineCallbacks
def crawl():
 while True:
  logging.info("new cycle starting")
  yield runner.crawl("xxxxx")
  #1s跑一次
  time.sleep(1)
 reactor.stop()
 
crawl()
reactor.run()

到此这篇关于scrapy处理python爬虫调度详解的文章就介绍到这了,更多相关scrapy适合处理python爬虫调度吗内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python深入学习之上下文管理器
Aug 31 Python
Python引用传值概念与用法实例小结
Oct 07 Python
Windows 7下Python Web环境搭建图文教程
Mar 20 Python
浅谈python中requests模块导入的问题
May 18 Python
关于django 数据库迁移(migrate)应该知道的一些事
May 27 Python
基于python进行桶排序与基数排序的总结
May 29 Python
TensorFlow实现从txt文件读取数据
Feb 05 Python
python标准库os库的函数介绍
Feb 12 Python
python实现经典排序算法的示例代码
Feb 07 Python
Python 实现定积分与二重定积分的操作
May 26 Python
Python中requests做接口测试的方法
May 30 Python
python库sklearn常用操作
Aug 23 Python
利用Python将多张图片合成视频的实现
Nov 23 #Python
Python系统公网私网流量监控实现流程
Nov 23 #Python
Python 调用 ES、Solr、Phoenix的示例代码
Nov 23 #Python
10个示例带你掌握python中的元组
Nov 23 #Python
详解anaconda安装步骤
Nov 23 #Python
Python可以用来做什么
Nov 23 #Python
pycharm激活码2020最新分享适用pycharm2020最新版亲测可用
Nov 22 #Python
You might like
如何利用php array_multisort函数 对数据库结果进行复杂排序
2013/06/08 PHP
php compact 通过变量创建数组
2016/11/15 PHP
jquery如何把参数列严格转换成数组实现思路
2013/04/01 Javascript
JS/jQuery实现默认显示部分文字点击按钮显示全部内容
2013/05/13 Javascript
javascript中的toFixed固定小数位数 简单实例分享
2013/07/12 Javascript
用JS做的简单的可折叠的两级树形菜单
2013/09/21 Javascript
javascript禁用Tab键脚本实例
2013/11/22 Javascript
JS调用页面表格导出excel示例代码
2014/03/18 Javascript
JS实现一个列表中包含上移下移删除等功能
2014/09/24 Javascript
JS实现的4种数字千位符格式化方法分享
2015/03/02 Javascript
JavaScript中的splice()方法使用详解
2015/06/09 Javascript
介绍JavaScript的一个微型模版
2015/06/24 Javascript
JavaScript多线程详解
2015/08/12 Javascript
JavaScript通过代码调用Flash显示的方法
2016/02/02 Javascript
jquery实现的判断倒计时是否结束代码
2016/02/05 Javascript
Angular 理解module和injector,即依赖注入
2016/09/07 Javascript
jQuery中JSONP的两种实现方式详解
2016/09/26 Javascript
Javascript动画效果(4)
2016/10/11 Javascript
微信小程序 地图map详解及简单实例
2017/01/10 Javascript
jq源码解析之绑在$,jQuery上面的方法(实例讲解)
2017/10/13 jQuery
vue router使用query和params传参的使用和区别
2017/11/13 Javascript
Windows下支持自动更新的Electron应用脚手架的方法
2018/12/24 Javascript
Nodejs对postgresql基本操作的封装方法
2019/02/20 NodeJs
详解vue的数据劫持以及操作数组的坑
2019/04/18 Javascript
详解使用mocha对webpack打包的项目进行"冒烟测试"的大致流程
2020/04/27 Javascript
浅谈vue 组件中的setInterval方法和window的不同
2020/07/30 Javascript
浅谈vue生命周期共有几个阶段?分别是什么?
2020/08/07 Javascript
小程序自定义弹框效果
2020/11/16 Javascript
[11:57]《一刀刀一天》第十七期:TI中国军团加油!
2014/05/26 DOTA
详解Python中DOM方法的动态性
2015/04/11 Python
Django中使用Celery的方法步骤
2020/12/07 Python
2014年售后服务工作总结
2014/11/18 职场文书
2015年房地产个人工作总结
2015/05/26 职场文书
2016新党章学习心得体会
2016/01/15 职场文书
《鸟的天堂》教学反思
2016/02/19 职场文书
Redis Stream类型的使用详解
2021/11/11 Redis