浅谈Scrapy网络爬虫框架的工作原理和数据采集


Posted in Python onFebruary 07, 2019

今天小编给大家详细的讲解一下Scrapy爬虫框架,希望对大家的学习有帮助。

1、Scrapy爬虫框架

Scrapy是一个使用Python编程语言编写的爬虫框架,任何人都可以根据自己的需求进行修改,并且使用起来非常的方便。它可以应用在数据采集、数据挖掘、网络异常用户检测、存储数据等方面。

Scrapy使用了Twisted异步网络库来处理网络通讯。整体架构大致如下图所示。

浅谈Scrapy网络爬虫框架的工作原理和数据采集

2、由上图可知Scrapy爬虫框架主要由5个部分组成,分别是:Scrapy Engine(Scrapy引擎),Scheduler(调度器),Downloader(下载器),Spiders(蜘蛛),Item Pipeline(项目管道)。爬取过程是Scrapy引擎发送请求,之后调度器把初始URL交给下载器,然后下载器向服务器发送服务请求,得到响应后将下载的网页内容交与蜘蛛来处理,尔后蜘蛛会对网页进行详细的解析。蜘蛛分析的结果有两种:一种是得到新的URL,之后再次请求调度器,开始进行新一轮的爬取,不断的重复上述过程;另一种是得到所需的数据,之后会转交给项目管道继续处理。项目管道负责数据的清洗、验证、过滤、去重和存储等后期处理,最后由Pipeline输出到文件中,或者存入数据库等。

3、这五大组件及其中间件的功能如下:

1) Scrapy引擎:控制整个系统的数据处理流程,触发事务处理流程,负责串联各个模块

2) Scheduler(调度器):维护待爬取的URL队列,当接受引擎发送的请求时,会从待爬取的URL队列中取出下一个URL返回给调度器。

3) Downloader(下载器):向该网络服务器发送下载页面的请求,用于下载网页内容,并将网页内容交与蜘蛛去处理。

4) Spiders(蜘蛛):制定要爬取的网站地址,选择所需数据内容,定义域名过滤规则和网页的解析规则等。

5) Item Pipeline(项目管道):处理由蜘蛛从网页中抽取的数据,主要任务是清洗、验证、过滤、去重和存储数据等。

6) 中间件(Middlewares):中间件是处于Scrapy引擎和Scheduler,Downloader,Spiders之间的构件,主要是处理它们之间的请求及响应。

Scrapy爬虫框架可以很方便的完成网上数据的采集工作,简单轻巧,使用起来非常方便。

4、 基于Scrapy的网络爬虫设计与实现

在了解Scrapy爬虫原理及框架的基础上,本节简要介绍Scrapy爬虫框架的数据采集过程。

4.1 建立爬虫项目文件

基于scrapy爬虫框架,只需在命令行中输入“scrapy startproject article”命令,之后一个名为article的爬虫项目将自动创建。首先进入到article文件夹下,输入命令“cd article”,之后通过“dir”查看目录,也可以通过“tree /f”生成文件目录的树形结构,如下图所示,可以很清晰的看到Scrapy创建命令生成的文件。

浅谈Scrapy网络爬虫框架的工作原理和数据采集

顶层的article文件夹是项目名,第二层中包含的是一个与项目名同名的文件夹article和一个文件scrapy.cfg,这个与项目同名的文件夹article是一个模块,所有的项目代码都在这个模块内添加,而scrapy.cfg文件是整个Scrapy项目的配置文件。第三层中有5个文件和一个文件夹,其中__init__.py是个空文件,作用是将其上级目录变成一个模块;items.py是定义储对象的文件,决定爬取哪些项目;middlewares.py文件是中间件,一般不用进行修改,主要负责相关组件之间的请求与响应;pipelines.py是管道文件,决定爬取后的数据如何进行处理和存储;settings.py是项目的设置文件,设置项目管道数据的处理方法、爬虫频率、表名等;spiders文件夹中放置的是爬虫主体文件(用于实现爬虫逻辑)和一个__init__.py空文件。

4.2 之后开始进行网页结构与数据分析、修改Items.py文件、编写hangyunSpider.py文件、修改pipelines.py文件、修改settings.py文件,这些步骤的具体操作后期会文章专门展开,在此不再赘述。

浅谈Scrapy网络爬虫框架的工作原理和数据采集

4.3 执行爬虫程序

修改上述四个文件之后,在Windows命令符窗口中输入cmd 命令进入到爬虫所在的路径,并执行“scrapy crawl article”命令,这样就可以运行爬虫程序了,最后保存数据到本地磁盘上。

5、 结束语

随着互联网信息的与日俱增,利用网络爬虫工具来获取所需信息必有用武之地。使用开源的Scrapy爬虫框架,不仅可以实现对web上信息的高效、准确、自动的获取,还利于研究人员对采集到的数据进行后续的挖掘分析。

Python 相关文章推荐
Python SQLAlchemy基本操作和常用技巧(包含大量实例,非常好)
May 06 Python
python编写的最短路径算法
Mar 25 Python
python 排序算法总结及实例详解
Sep 28 Python
解决Python网页爬虫之中文乱码问题
May 11 Python
Windows下Anaconda2安装NLTK教程
Sep 19 Python
python RabbitMQ 使用详细介绍(小结)
Nov 08 Python
python版百度语音识别功能
Jul 09 Python
Python中typing模块与类型注解的使用方法
Aug 05 Python
python GUI库图形界面开发之PyQt5控件QTableWidget详细使用方法与属性
Feb 25 Python
如何让PyQt5中QWebEngineView与JavaScript交互
Oct 21 Python
tensorflow中的数据类型dtype用法说明
May 26 Python
python之json文件转xml文件案例讲解
Aug 07 Python
Python实现E-Mail收集插件实例教程
Feb 06 #Python
使用TensorFlow实现二分类的方法示例
Feb 05 #Python
Tensorflow分类器项目自定义数据读入的实现
Feb 05 #Python
在Python 字典中一键对应多个值的实例
Feb 03 #Python
Django csrf 两种方法设置form的实例
Feb 03 #Python
解决django前后端分离csrf验证的问题
Feb 03 #Python
Python利用heapq实现一个优先级队列的方法
Feb 03 #Python
You might like
优化使用mysql存储session的php代码
2008/01/10 PHP
使用HMAC-SHA1签名方法详解
2013/06/26 PHP
部署PHP项目应该注意的几点事项分享
2013/12/20 PHP
php时区转换转换函数
2014/01/07 PHP
一漂亮的PHP图片验证码实例
2014/03/21 PHP
PHP中使用mpdf 导出PDF文件的实现方法
2018/10/22 PHP
php中array_fill函数的实例用法
2021/03/02 PHP
JavaScript 撑出页面文字换行
2009/06/15 Javascript
javascript 表单验证常见正则
2009/09/28 Javascript
JS无限树状列表实现代码
2011/01/11 Javascript
jquery入门—编写一个导航条(可伸缩)
2013/01/07 Javascript
jquery简单瀑布流实现原理及ie8下测试代码
2013/01/23 Javascript
jquery实现可拖动DIV自定义保存到数据的实例
2013/11/20 Javascript
jquery 绑定回车动作扑捉回车键触发的事件
2014/03/26 Javascript
javascript 使用for循环时该注意的问题-附问题总结
2015/08/19 Javascript
Bootstrap源码解读排版(1)
2016/12/23 Javascript
详解AngularJS通过ocLazyLoad实现动态(懒)加载模块和依赖
2017/03/01 Javascript
微信小程序 navbar实例详解
2017/05/11 Javascript
nodejs Assert中equal(),strictEqual(),deepEqual(),strictDeepEqual()比较
2017/09/18 NodeJs
JS实现获取汉字首字母拼音、全拼音及混拼音的方法
2017/11/14 Javascript
js简单遍历获取对象中的属性值的方法示例
2019/06/19 Javascript
微信头像地址失效踩坑记附带解决方案
2019/09/23 Javascript
python实现简单多人聊天室
2018/12/11 Python
Django集成CAS单点登录的方法示例
2019/06/10 Python
python 进程的几种创建方式详解
2019/08/29 Python
Python实现Restful API的例子
2019/08/31 Python
python实现批量处理将图片粘贴到另一张图片上并保存
2019/12/12 Python
python 实现让字典的value 成为列表
2019/12/16 Python
pymysql的简单封装代码实例
2020/01/08 Python
基于Python的OCR实现示例
2020/04/03 Python
浅谈Python中的字符串
2020/06/10 Python
Python计算信息熵实例
2020/06/18 Python
python打开音乐文件的实例方法
2020/07/21 Python
带香烟到学校抽的检讨书
2014/09/25 职场文书
复活读书笔记
2015/06/29 职场文书
外出听课学习心得体会
2016/01/15 职场文书