scrapy处理python爬虫调度详解


Posted in Python onNovember 23, 2020

学习了简单的知识点,就会想要向有难度的问题挑战,这里必须要夸一夸小伙伴们。不过我们今天不需要做什么程序的测试,只用简单的两个代码对比,小伙伴们就能在其中体会两者的不同和难易程度。scrapy能否适合处理python爬虫调度的问题,小编直接说出答案小伙伴们也不能马上信服,下面就让我们在示例中找寻答案吧。

总的来说,需要使用代码来爬一些数据的大概分为两类人:

非程序员,需要爬一些数据来做毕业设计、市场调研等等,他们可能连 Python 都不是很熟;

程序员,需要设计大规模、分布式、高稳定性的爬虫系统,对他们来说,语言都无所谓的,更别说用不用框架了。

对于一个任何一个已经入门的程序员来说,Python 都算不上一个很复杂的语言,除了不用大括号可能让一些人感觉有些不适应之外,基本上看看语法上手就能写了。但是恰恰是因为我们都是老司机了,所以不能体会到使用一门编程语言对于外行来说可能『比登天还难』。如果不用 scrapy,可能我只需要这样:

import requests
def main():
  for i in range(100):
    rsp = requests.get(f"http://www.example.com/{i}.html")
    with open("example-{i}.txt", "w") as f:
      f.write(rsp.text)
if __name__ == "__main__":
  main()

就写好了一个简单的爬虫,而使用 scrapy 呢,大概需要这样吧:

import scrapy
class QuotesSpider(scrapy.Spider):
  name = 'quotes'
  def start_requests(self):
    urls = [
      'http://quotes.toscrape.com/page/1/',
      'http://quotes.toscrape.com/page/2/'
    ]
    for url in urls:
      yield scrapy.Request(url=url, callback=self.parse)
  def parse(self, response):
    page = response.url.split('/')[-2]
    filename = 'quotes-%s.html' % page
    with open(filename, 'wb') as f:
      f.write(response.body)
    self.log('Save file %s' % filename)

先不说代码增长了一倍有余,初学者会问到这些问题:什么是 class?为什么类还有参数?啊,什么是继承?yield 又是什么鬼,那个 scrapy.Request 又是啥?这些都是负担。

既然要开发大型爬虫系统,那么其中很重要的一部分就是爬虫的调度了。一种比较简单的模式是 scheduler 作为 master,全局调度。另一种模式没有 master,所有的爬虫 worker 都是对等的。在实际生产中显然是第一种用的更多。

显然 scheduler 这部分是不能再用一个爬虫框架来实现的,连主循环都没有咋写逻辑呢?我们可能还要实现增量爬取,或者消费业务方发来的爬取请求等各种业务,这块显然是在 scheduler 里面的,那么这个爬虫系统无非是 scheduler 分发任务给各个 worker 来抓取。worker 还可以使用 scrapy 实现,但是呢,这个 worker 其实已经弱化为一层薄薄的 downloader 了,那我要他干嘛呢?scrapy 的核心逻辑也不过是个深度或者广度优先的遍历而已,少一个依赖不好么……

爬虫的工作量要么在反爬,要么在调度等业务逻辑,本身只是一个 requests.get 而已,scrapy 提供的种种抽象对于初学者太复杂,大型系统又用不上,所以个人不推荐使用包括但不限于 scrapy 在内的所有爬虫框架。

内容扩展:

Scrapy模块

1、scheduler:用来存放url队列

2、downloader:发送请求

3、spiders:提取数据和url

4、itemPipeline:数据保存

from twisted.internet import reactor, defer
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
import time
import logging
from scrapy.utils.project import get_project_settings
 
 
#在控制台打印日志
configure_logging()
#CrawlerRunner获取settings.py里的设置信息
runner = CrawlerRunner(get_project_settings())
 
@defer.inlineCallbacks
def crawl():
 while True:
  logging.info("new cycle starting")
  yield runner.crawl("xxxxx")
  #1s跑一次
  time.sleep(1)
 reactor.stop()
 
crawl()
reactor.run()

到此这篇关于scrapy处理python爬虫调度详解的文章就介绍到这了,更多相关scrapy适合处理python爬虫调度吗内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
零基础写python爬虫之抓取百度贴吧并存储到本地txt文件改进版
Nov 06 Python
python检测远程服务器tcp端口的方法
Mar 14 Python
Python 实现 贪吃蛇大作战 代码分享
Sep 07 Python
Python selenium如何设置等待时间
Sep 15 Python
wxpython实现图书管理系统
Mar 12 Python
Python正则匹配判断手机号是否合法的方法
Dec 09 Python
python+selenium 定位到元素,无法点击的解决方法
Jan 30 Python
详解python函数的闭包问题(内部函数与外部函数详述)
May 17 Python
python3.6 如何将list存入txt后再读出list的方法
Jul 02 Python
python sorted函数的小练习及解答
Sep 18 Python
Transpose 数组行列转置的限制方式
Feb 11 Python
python plt.plot bar 如何设置绘图尺寸大小
Jun 01 Python
利用Python将多张图片合成视频的实现
Nov 23 #Python
Python系统公网私网流量监控实现流程
Nov 23 #Python
Python 调用 ES、Solr、Phoenix的示例代码
Nov 23 #Python
10个示例带你掌握python中的元组
Nov 23 #Python
详解anaconda安装步骤
Nov 23 #Python
Python可以用来做什么
Nov 23 #Python
pycharm激活码2020最新分享适用pycharm2020最新版亲测可用
Nov 22 #Python
You might like
使用PHP实现Mysql读写分离
2013/06/28 PHP
PHP在网页中动态生成PDF文件详细教程
2014/07/05 PHP
PHP实现通过Luhn算法校验信用卡卡号是否有效
2015/03/23 PHP
Laravel路由设定和子路由设定实例分析
2016/03/30 PHP
php使用自定义函数实现汉字分割替换功能示例
2017/01/30 PHP
HTML中事件触发列表与解说
2007/07/09 Javascript
jquery插件corner实现圆角边框的方法
2015/03/09 Javascript
jquery 构造函数在表单提交过程中修改数据
2015/05/25 Javascript
基于javascript如何传递特殊字符
2015/11/30 Javascript
jQuery实现简单的点赞效果
2020/05/29 Javascript
基于jQuery插件实现点击小图显示大图效果
2016/05/11 Javascript
js省市县三级联动效果实例
2020/04/15 Javascript
将List对象列表转换成JSON格式的类实现方法
2016/07/04 Javascript
jQuery学习笔记之回调函数
2016/08/15 Javascript
jquery-mobile表单的创建方法详解
2016/11/23 Javascript
jquery编写日期选择器
2017/03/16 Javascript
仿京东快报向上滚动的实例
2017/12/13 Javascript
浅谈Webpack 是如何加载模块的
2018/05/24 Javascript
Node.js 多线程完全指南总结
2019/03/27 Javascript
Vue+elementUI实现多图片上传与回显功能(含回显后继续上传或删除)
2020/03/23 Javascript
vue实现循环滚动列表
2020/06/30 Javascript
[06:16]《DAC最前线》之地区预选赛全面回顾
2015/01/19 DOTA
Django1.9 加载通过ImageField上传的图片方法
2018/05/25 Python
在python中利用KNN实现对iris进行分类的方法
2018/12/11 Python
pytorch 实现删除tensor中的指定行列
2020/01/13 Python
如何使用pycharm连接Databricks的步骤详解
2020/09/23 Python
详解pycharm的python包opencv(cv2)无代码提示问题的解决
2021/01/29 Python
以设计师精品品质提供快速时尚:PopJulia
2018/01/09 全球购物
实习生个人的自我评价
2013/12/08 职场文书
物业管理计划书
2014/01/10 职场文书
农村婚礼主持词
2014/03/13 职场文书
办公室领导干部作风整顿个人整改措施
2014/09/17 职场文书
安全月宣传标语
2014/10/07 职场文书
党的群众路线剖析材料
2014/10/09 职场文书
法定授权委托证明书
2015/06/18 职场文书
音乐研修感悟
2015/11/18 职场文书