Python抓取框架 Scrapy的架构


Posted in Python onAugust 12, 2016

最近在学Python,同时也在学如何使用python抓取数据,于是就被我发现了这个非常受欢迎的Python抓取框架Scrapy,下面一起学习下Scrapy的架构,便于更好的使用这个工具。

一、概述

下图显示了Scrapy的大体架构,其中包含了它的主要组件及系统的数据处理流程(绿色箭头所示)。下面就来一个个解释每个组件的作用及数据的处理过程。

Python抓取框架 Scrapy的架构

二、组件

1、Scrapy Engine(Scrapy引擎)

Scrapy引擎是用来控制整个系统的数据处理流程,并进行事务处理的触发。更多的详细内容可以看下面的数据处理流程。

2、Scheduler(调度)

调度程序从Scrapy引擎接受请求并排序列入队列,并在Scrapy引擎发出请求后返还给他们。

3、Downloader(下载器)

下载器的主要职责是抓取网页并将网页内容返还给蜘蛛( Spiders)。

4、Spiders(蜘蛛)

蜘蛛是有Scrapy用户自己定义用来解析网页并抓取制定URL返回的内容的类,每个蜘蛛都能处理一个域名或一组域名。换句话说就是用来定义特定网站的抓取和解析规则。

蜘蛛的整个抓取流程(周期)是这样的:

1).首先获取第一个URL的初始请求,当请求返回后调取一个回调函数。第一个请求是通过调用start_requests()方法。该方法默认从start_urls中的Url中生成请求,并执行解析来调用回调函数。
2).在回调函数中,你可以解析网页响应并返回项目对象和请求对象或两者的迭代。这些请求也将包含一个回调,然后被Scrapy下载,然后有指定的回调处理。
3).在回调函数中,你解析网站的内容,同程使用的是Xpath选择器(但是你也可以使用BeautifuSoup, lxml或其他任何你喜欢的程序),并生成解析的数据项。
4).最后,从蜘蛛返回的项目通常会进驻到项目管道。

5、Item Pipeline(项目管道)

项目管道的主要责任是负责处理有蜘蛛从网页中抽取的项目,他的主要任务是清晰、验证和存储数据。当页面被蜘蛛解析后,将被发送到项目管道,并经过几个特定的次序处理数据。每个项目管道的组件都是有一个简单的方法组成的Python类。他们获取了项目并执行他们的方法,同时他们还需要确定的是是否需要在项目管道中继续执行下一步或是直接丢弃掉不处理。

项目管道通常执行的过程有:

1).清洗HTML数据
2).验证解析到的数据(检查项目是否包含必要的字段)
3).检查是否是重复数据(如果重复就删除)
4).将解析到的数据存储到数据库中

6、Downloader middlewares(下载器中间件)

下载中间件是位于Scrapy引擎和下载器之间的钩子框架,主要是处理Scrapy引擎与下载器之间的请求及响应。它提供了一个自定义的代码的方式来拓展Scrapy的功能。下载中间器是一个处理请求和响应的钩子框架。他是轻量级的,对Scrapy尽享全局控制的底层的系统。

7、Spider middlewares(蜘蛛中间件)

蜘蛛中间件是介于Scrapy引擎和蜘蛛之间的钩子框架,主要工作是处理蜘蛛的响应输入和请求输出。它提供一个自定义代码的方式来拓展Scrapy的功能。蛛中间件是一个挂接到Scrapy的蜘蛛处理机制的框架,你可以插入自定义的代码来处理发送给蜘蛛的请求和返回蜘蛛获取的响应内容和项目。

8、Scheduler middlewares(调度中间件)

调度中间件是介于Scrapy引擎和调度之间的中间件,主要工作是处从Scrapy引擎发送到调度的请求和响应。他提供了一个自定义的代码来拓展Scrapy的功能。

三、数据处理流程

Scrapy的整个数据处理流程有Scrapy引擎进行控制,其主要的运行方式为:

引擎打开一个域名,时蜘蛛处理这个域名,并让蜘蛛获取第一个爬取的URL。
引擎从蜘蛛那获取第一个需要爬取的URL,然后作为请求在调度中进行调度。
引擎从调度那获取接下来进行爬取的页面。
调度将下一个爬取的URL返回给引擎,引擎将他们通过下载中间件发送到下载器。
当网页被下载器下载完成以后,响应内容通过下载中间件被发送到引擎。
引擎收到下载器的响应并将它通过蜘蛛中间件发送到蜘蛛进行处理。
蜘蛛处理响应并返回爬取到的项目,然后给引擎发送新的请求。
引擎将抓取到的项目项目管道,并向调度发送请求。
系统重复第二部后面的操作,直到调度中没有请求,然后断开引擎与域之间的联系。

四、驱动器

Scrapy是由Twisted写的一个受欢迎的Python事件驱动网络框架,它使用的是非堵塞的异步处理。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python自动化测试工具Splinter简介和使用实例
May 13 Python
Flask框架的学习指南之用户登录管理
Nov 20 Python
python 字符串转列表 list 出现\ufeff的解决方法
Jun 22 Python
Python2随机数列生成器简单实例
Sep 04 Python
django上传图片并生成缩略图方法示例
Dec 11 Python
Python实现采用进度条实时显示处理进度的方法
Dec 19 Python
python实现简单flappy bird
Dec 24 Python
Python计算库numpy进行方差/标准方差/样本标准方差/协方差的计算
Dec 28 Python
django 实现编写控制登录和访问权限控制的中间件方法
Jan 15 Python
Python 实现还原已撤回的微信消息
Jun 18 Python
Python线程threading模块用法详解
Feb 26 Python
解决Jupyter-notebook不弹出默认浏览器的问题
Mar 30 Python
判断网页编码的方法python版
Aug 12 #Python
Python利用IPython提高开发效率
Aug 10 #Python
详解python如何调用C/C++底层库与互相传值
Aug 10 #Python
浅析python中的分片与截断序列
Aug 09 #Python
总结python爬虫抓站的实用技巧
Aug 09 #Python
教你用Type Hint提高Python程序开发效率
Aug 08 #Python
Python如何实现文本转语音
Aug 08 #Python
You might like
PHP学习笔记 IIS7下安装配置php环境
2012/10/29 PHP
phpword插件导出word文件时中文乱码问题处理方案
2014/08/19 PHP
php+mysql实现简单的增删改查功能
2015/07/13 PHP
php使用curl通过代理获取数据的实现方法
2016/05/16 PHP
Smarty模板类内部原理实例分析
2019/07/03 PHP
Alliance vs Liquid BO3 第三场2.13
2021/03/10 DOTA
jQuery学习笔记 更改jQuery对象
2012/09/19 Javascript
FF IE浏览器修改标签透明度的方法
2014/01/27 Javascript
js 获取页面高度和宽度兼容 ie firefox chrome等
2014/05/14 Javascript
avalon js实现仿微博拖动图片排序
2015/08/14 Javascript
jQueryUI中的datepicker使用方法详解
2016/05/25 Javascript
微信小程序中实现一对多发消息详解及实例代码
2017/02/14 Javascript
jQuery中的on与bind绑定事件区别实例详解
2017/02/28 Javascript
微信小程序中button组件的边框设置的实例详解
2017/09/27 Javascript
Bootstrap栅格系统的使用详解
2017/10/30 Javascript
浅谈vue后台管理系统权限控制思考与实践
2018/12/19 Javascript
微信小程序实现横向滚动导航栏效果
2019/12/12 Javascript
python3中set(集合)的语法总结分享
2017/03/24 Python
Django项目实战之用户头像上传与访问的示例
2018/04/21 Python
破解安装Pycharm的方法
2018/10/19 Python
浅谈pyqt5在QMainWindow中布局的问题
2019/06/21 Python
深入了解Python在HDA中的应用
2019/09/05 Python
Python爬虫实现使用beautifulSoup4爬取名言网功能案例
2019/09/15 Python
Python无头爬虫下载文件的实现
2020/04/02 Python
filter使用python3代码进行迭代元素的实例详解
2020/12/03 Python
css3实现的多级渐变下拉菜单导航效果代码
2015/08/31 HTML / CSS
美国折扣宠物药房:Total Pet Supply
2018/05/27 全球购物
请用Python写一个获取用户输入数字,并根据数字大小输出不同信息的脚本
2014/05/20 面试题
护士检查书
2014/01/17 职场文书
研究生考核个人自我鉴定
2014/03/27 职场文书
经贸专业毕业生求职信范文
2014/05/01 职场文书
2014年手术室工作总结
2014/11/26 职场文书
2014年保育员个人工作总结
2014/12/02 职场文书
小学生暑假生活总结
2015/07/13 职场文书
2015-2016年小学教导工作总结
2015/07/21 职场文书
90行Python代码开发个人云盘应用
2021/04/20 Python