Python抓取框架 Scrapy的架构


Posted in Python onAugust 12, 2016

最近在学Python,同时也在学如何使用python抓取数据,于是就被我发现了这个非常受欢迎的Python抓取框架Scrapy,下面一起学习下Scrapy的架构,便于更好的使用这个工具。

一、概述

下图显示了Scrapy的大体架构,其中包含了它的主要组件及系统的数据处理流程(绿色箭头所示)。下面就来一个个解释每个组件的作用及数据的处理过程。

Python抓取框架 Scrapy的架构

二、组件

1、Scrapy Engine(Scrapy引擎)

Scrapy引擎是用来控制整个系统的数据处理流程,并进行事务处理的触发。更多的详细内容可以看下面的数据处理流程。

2、Scheduler(调度)

调度程序从Scrapy引擎接受请求并排序列入队列,并在Scrapy引擎发出请求后返还给他们。

3、Downloader(下载器)

下载器的主要职责是抓取网页并将网页内容返还给蜘蛛( Spiders)。

4、Spiders(蜘蛛)

蜘蛛是有Scrapy用户自己定义用来解析网页并抓取制定URL返回的内容的类,每个蜘蛛都能处理一个域名或一组域名。换句话说就是用来定义特定网站的抓取和解析规则。

蜘蛛的整个抓取流程(周期)是这样的:

1).首先获取第一个URL的初始请求,当请求返回后调取一个回调函数。第一个请求是通过调用start_requests()方法。该方法默认从start_urls中的Url中生成请求,并执行解析来调用回调函数。
2).在回调函数中,你可以解析网页响应并返回项目对象和请求对象或两者的迭代。这些请求也将包含一个回调,然后被Scrapy下载,然后有指定的回调处理。
3).在回调函数中,你解析网站的内容,同程使用的是Xpath选择器(但是你也可以使用BeautifuSoup, lxml或其他任何你喜欢的程序),并生成解析的数据项。
4).最后,从蜘蛛返回的项目通常会进驻到项目管道。

5、Item Pipeline(项目管道)

项目管道的主要责任是负责处理有蜘蛛从网页中抽取的项目,他的主要任务是清晰、验证和存储数据。当页面被蜘蛛解析后,将被发送到项目管道,并经过几个特定的次序处理数据。每个项目管道的组件都是有一个简单的方法组成的Python类。他们获取了项目并执行他们的方法,同时他们还需要确定的是是否需要在项目管道中继续执行下一步或是直接丢弃掉不处理。

项目管道通常执行的过程有:

1).清洗HTML数据
2).验证解析到的数据(检查项目是否包含必要的字段)
3).检查是否是重复数据(如果重复就删除)
4).将解析到的数据存储到数据库中

6、Downloader middlewares(下载器中间件)

下载中间件是位于Scrapy引擎和下载器之间的钩子框架,主要是处理Scrapy引擎与下载器之间的请求及响应。它提供了一个自定义的代码的方式来拓展Scrapy的功能。下载中间器是一个处理请求和响应的钩子框架。他是轻量级的,对Scrapy尽享全局控制的底层的系统。

7、Spider middlewares(蜘蛛中间件)

蜘蛛中间件是介于Scrapy引擎和蜘蛛之间的钩子框架,主要工作是处理蜘蛛的响应输入和请求输出。它提供一个自定义代码的方式来拓展Scrapy的功能。蛛中间件是一个挂接到Scrapy的蜘蛛处理机制的框架,你可以插入自定义的代码来处理发送给蜘蛛的请求和返回蜘蛛获取的响应内容和项目。

8、Scheduler middlewares(调度中间件)

调度中间件是介于Scrapy引擎和调度之间的中间件,主要工作是处从Scrapy引擎发送到调度的请求和响应。他提供了一个自定义的代码来拓展Scrapy的功能。

三、数据处理流程

Scrapy的整个数据处理流程有Scrapy引擎进行控制,其主要的运行方式为:

引擎打开一个域名,时蜘蛛处理这个域名,并让蜘蛛获取第一个爬取的URL。
引擎从蜘蛛那获取第一个需要爬取的URL,然后作为请求在调度中进行调度。
引擎从调度那获取接下来进行爬取的页面。
调度将下一个爬取的URL返回给引擎,引擎将他们通过下载中间件发送到下载器。
当网页被下载器下载完成以后,响应内容通过下载中间件被发送到引擎。
引擎收到下载器的响应并将它通过蜘蛛中间件发送到蜘蛛进行处理。
蜘蛛处理响应并返回爬取到的项目,然后给引擎发送新的请求。
引擎将抓取到的项目项目管道,并向调度发送请求。
系统重复第二部后面的操作,直到调度中没有请求,然后断开引擎与域之间的联系。

四、驱动器

Scrapy是由Twisted写的一个受欢迎的Python事件驱动网络框架,它使用的是非堵塞的异步处理。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
改进Django中的表单的简单方法
Jul 17 Python
一键搞定python连接mysql驱动有关问题(windows版本)
Apr 23 Python
用十张图详解TensorFlow数据读取机制(附代码)
Feb 06 Python
python和shell监控linux服务器的详细代码
Jun 22 Python
使用Python微信库itchat获得好友和群组已撤回的消息
Jun 24 Python
OpenCV+python手势识别框架和实例讲解
Aug 03 Python
用sqlalchemy构建Django连接池的实例
Aug 29 Python
Python如何实现定时器功能
May 28 Python
如何使用Python处理HDF格式数据及可视化问题
Jun 24 Python
详解Python流程控制语句
Oct 28 Python
Scrapy-Redis之RedisSpider与RedisCrawlSpider详解
Nov 18 Python
python 基于PYMYSQL使用MYSQL数据库
Dec 24 Python
判断网页编码的方法python版
Aug 12 #Python
Python利用IPython提高开发效率
Aug 10 #Python
详解python如何调用C/C++底层库与互相传值
Aug 10 #Python
浅析python中的分片与截断序列
Aug 09 #Python
总结python爬虫抓站的实用技巧
Aug 09 #Python
教你用Type Hint提高Python程序开发效率
Aug 08 #Python
Python如何实现文本转语音
Aug 08 #Python
You might like
php中的一个中文字符串截取函数
2007/02/14 PHP
php学习笔记 PHP面向对象的程序设计
2011/06/13 PHP
php gzip压缩输出的实现方法
2013/04/27 PHP
php switch语句多个值匹配同一代码块的实现
2014/03/03 PHP
PHP中CURL的CURLOPT_POSTFIELDS参数使用细节
2014/03/17 PHP
Laravel中服务提供者和门面模式的入门介绍
2017/11/06 PHP
PHP常见过waf webshell以及最简单的检测方法
2019/05/21 PHP
在页面上点击任一链接时触发一个事件的代码
2007/04/07 Javascript
用jQuery技术实现Tab页界面之二
2009/09/21 Javascript
JQuery获取文本框中字符长度的代码
2011/09/29 Javascript
Jquery post传递数组方法实现思路及代码
2013/04/28 Javascript
JavaScript显示当然日期和时间即年月日星期和时间
2013/10/29 Javascript
jquery+ajax+C#实现无刷新操作数据库数据的简单实例
2014/02/08 Javascript
jquery获取对象的方法足以应付常见的各种类型的对象
2014/05/14 Javascript
使用mini-define实现前端代码的模块化管理
2014/12/25 Javascript
javascript获取当前鼠标坐标的方法
2015/01/10 Javascript
详解JavaScript函数
2015/12/01 Javascript
使用JS读取XML文件的方法
2016/11/25 Javascript
javascript添加前置0(补零)的几种方法
2017/01/05 Javascript
Angular2 PrimeNG分页模块学习
2017/01/14 Javascript
详解angularJs模块ui-router之状态嵌套和视图嵌套
2017/04/28 Javascript
layui框架table 数据表格的方法级渲染详解
2018/08/19 Javascript
js实现点击烟花特效
2020/10/14 Javascript
python字典get()方法用法分析
2015/04/17 Python
python与sqlite3实现解密chrome cookie实例代码
2018/01/20 Python
Pandas 数据处理,数据清洗详解
2018/07/10 Python
通过实例了解python property属性
2019/11/01 Python
Python线程障碍对象Barrier原理详解
2019/12/02 Python
Python 3 使用Pillow生成漂亮的分形树图片
2019/12/24 Python
python利用opencv实现SIFT特征提取与匹配
2020/03/05 Python
python 安装库几种方法之cmd,anaconda,pycharm详解
2020/04/08 Python
2014学雷锋活动总结
2014/03/09 职场文书
会计师事务所实习证明
2014/11/16 职场文书
承诺书范本
2015/01/21 职场文书
毕业实习证明范本
2015/06/16 职场文书
创业计划书之家教托管
2019/09/25 职场文书