python爬虫调度器用法及实例代码


Posted in Python onNovember 30, 2020

我们一般使用爬虫看到的都是最后的数据结果,对于整个的获取过程没有过多了解过。对于初学python的小伙伴们来说,不光是代码的练习,还是原理的分析都是必不可少的。

小编把整个爬取的过程分为了几个部分,从一开始的下载,到数据的去重解析,再到整个爬虫循环的结束,以图片和代码的双重形式展现给大家,希望能够对爬虫调度器有一个深刻的理解。

我们可以编写几个元件,每个元件完成一项功能,下图中的蓝底白字就是对这一流程的抽象:

python爬虫调度器用法及实例代码

  • UrlManager:将存储和获取url以及url去重的几个步骤在url管理器中完成(当然也可以针对每一步分别编写相应的函数,但是这样更直观)。url管理器要有两个url仓库,一个存储未爬取的url,一个存储已爬取的url,除了仓库之外,还应该具有一些完成特定功能的函数,如存储url、url去重、从仓库中挑选并返回一个url等
  • HtmlDownloader:将下载网页内容的功能在HTML下载器中完成,下载器的功能较为单一,不多解释。但从整个爬虫的角度上来说,下载器是爬虫的核心,在实际操作的过程中,下载器要和目标网站的各种反爬虫手段斗智斗勇(各种表单、隐藏字段和假链接、验证码、IP限制等等),这也是最耗费大脑的步骤
  • HtmlParser:解析提取数据的功能在HTML解析器中完成,解析器内的函数应该分别具有返回数据和新url的功能
  • DAtaOutput:存储数据的功能由数据存储器完成
  • SpiderMan:主循环由爬虫调度器来完成,调度器为整个程序的入口,将其余四个元件有序执行

爬虫调度器将要完成整个循环,下面写出python下爬虫调度器的程序:

# coding: utf-8
new_urls = set()
data = {}
class SpiderMan(object):
 def __init__(self):
  #调度器内包含其它四个元件,在初始化调度器的时候也要建立四个元件对象的实例
  self.manager = UrlManager()
  self.downloader = HtmlDownloader()
  self.parser = HtmlParser()
  self.output = DataOutput()
 def spider(self, origin_url):
  #添加初始url
  self.manager.add_new_url(origin_url)
  #下面进入主循环,暂定爬取页面总数小于100
  num = 0
  while(self.manager.has_new_url() and self.manager.old_url_size()<100):
   try:
    num = num + 1
    print "正在处理第{}个链接".format(num)
    #从新url仓库中获取url
    new_url = self.manager.get_new_url()
    #调用html下载器下载页面
    html = self.downloader.download(new_url)
    #调用解析器解析页面,返回新的url和data
    try:
     new_urls, data = self.parser.parser(new_url, html)
    except Exception, e:
     print e
    for url in new_urls:
     self.manager.add_new_url(url)
    #将已经爬取过的这个url添加至老url仓库中
    self.manager.add_old_url(new_url)
    #将返回的数据存储至文件
     self.output.store_data(data)
     print "store data succefully"
    print "第{}个链接已经抓取完成".format(self.manager.old_url_size())
   except Exception, e:
    print e
  #爬取循环结束的时候将存储的数据输出至文件
  self.output.output_html()

从整个循环的流程我们可以看出,由爬虫调度器指挥四个元件完成数据的抓取、筛选、保存流程,并以此为基础还可以进行新的循环。看懂原理之后,我们就可以使用以上的代码进行实战啦。

到此这篇关于python爬虫调度器用法及实例代码的文章就介绍到这了,更多相关python爬虫调度器是什么内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python字符串编码识别模块chardet简单应用
Jun 15 Python
浅谈Python中的闭包
Jul 08 Python
浅谈python装饰器探究与参数的领取
Dec 01 Python
Django中cookie的基本使用方法示例
Feb 03 Python
python实现微信发送邮件关闭电脑功能
Feb 22 Python
对django xadmin自定义菜单的实例详解
Jan 03 Python
python Tcp协议发送和接收信息的例子
Jul 22 Python
Python Pandas 箱线图的实现
Jul 23 Python
Python使用matplotlib绘制三维参数曲线操作示例
Sep 10 Python
使用python实现回文数的四种方法小结
Nov 24 Python
Python word文本自动化操作实现方法解析
Nov 05 Python
python UIAutomator2使用超详细教程
Feb 19 Python
python爬虫中url管理器去重操作实例
Nov 30 #Python
python爬虫中的url下载器用法详解
Nov 30 #Python
Python接口自动化测试框架运行原理及流程
Nov 30 #Python
Django数据模型中on_delete使用详解
Nov 30 #Python
Django数据统计功能count()的使用
Nov 30 #Python
Python常用断言函数实例汇总
Nov 30 #Python
在pycharm中使用pipenv创建虚拟环境和安装django的详细教程
Nov 30 #Python
You might like
解析posix与perl标准的正则表达式区别
2013/06/17 PHP
php实现插入排序
2015/03/29 PHP
WordPress的主题编写中获取头部模板和底部模板
2015/12/28 PHP
Laravel项目中timeAgo字段语言转换的改善方法示例
2019/09/16 PHP
js 页面刷新location.reload和location.replace的区别小结
2009/12/24 Javascript
从零开始学习jQuery (八) 插播:jQuery实施方案
2011/02/23 Javascript
一个简单的Ext.XTemplate的实例代码
2012/03/18 Javascript
jQuery之过滤元素操作小结
2013/11/30 Javascript
JavaScript中数组成员的添加、删除介绍
2014/12/30 Javascript
jquery制作 随机弹跳的小球特效
2015/02/01 Javascript
移除AngularJS下URL中的#字符的方法
2015/06/19 Javascript
jQuery ui实现动感的圆角渐变网站导航菜单效果代码
2015/08/26 Javascript
Angular的模块化(代码分享)
2016/12/26 Javascript
webpack+vue中使用别名路径引用静态图片地址
2017/11/20 Javascript
Vue导出json数据到Excel电子表格的示例
2017/12/04 Javascript
Node.js引入UIBootstrap的方法示例
2018/05/11 Javascript
Vuex的实战使用详解
2019/10/31 Javascript
用Python编写脚本使IE实现代理上网的教程
2015/04/23 Python
Python学习笔记整理3之输入输出、python eval函数
2015/12/14 Python
Python 实现文件的全备份和差异备份详解
2016/12/27 Python
Python生成器generator用法示例
2018/08/10 Python
Transpose 数组行列转置的限制方式
2020/02/11 Python
Java Spring项目国际化(i18n)详细方法与实例
2020/03/20 Python
HTML5 UTF-8 中文乱码的解决方法
2013/11/18 HTML / CSS
Stutterheim瑞典:瑞典高级外套时装品牌
2019/06/24 全球购物
意大利和国际奢侈品牌购物网站:Suitnegozi.com
2021/01/15 全球购物
小学教师听课制度
2014/02/01 职场文书
《小白兔和小灰兔》教学反思
2014/02/18 职场文书
双语教学实施方案
2014/03/23 职场文书
团委竞选演讲稿
2014/04/24 职场文书
优秀大学生自荐信
2014/06/09 职场文书
建筑安全生产目标责任书
2014/07/23 职场文书
校园环保广播稿(3篇)
2014/09/15 职场文书
青年教师听课心得体会
2016/01/15 职场文书
《语言的突破》读后感3篇
2019/12/12 职场文书
Python中常见的导入方式总结
2021/05/06 Python