首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

使用Python的Scrapy框架编写web爬虫的简单示例

Posted in Python onApril 17, 2015

 在这个教材中,我们假定你已经安装了Scrapy。假如你没有安装,你可以参考这个安装指南。

我们将会用开放目录项目(dmoz)作为我们例子去抓取。

这个教材将会带你走过下面这几个方面:

  •     创造一个新的Scrapy项目
  •     定义您将提取的Item
  •     编写一个蜘蛛去抓取网站并提取Items。
  •     编写一个Item Pipeline用来存储提出出来的Items

Scrapy由Python写成。假如你刚刚接触Python这门语言,你可能想要了解这门语言起,怎么最好的利用这门语言。假如你已经熟悉其它类似的语言,想要快速地学习Python,我们推荐这种深入方式学习Python。假如你是新手,想从开始使用Python学习,可以尝试去看看非程序员Python资源列表。

创造一个项目

在你要抓取之前,首先要建立一个新的Scrapy项目。然后进去你的存放代码目录,执行如下命令。

scrapy startproject tutorial

它将会创建如下的向导目录:

tutorial/

    scrapy.cfg

    tutorial/

        __init__.py

        items.py

        pipelines.py

        settings.py

        spiders/

            __init__.py

            ...

这是一些基本信息:

  •     scrapy.cfg: 项目的配置文件。
  •     tutorial/: 项目的python模块, 在这里稍后你将会导入你的代码。
  •     tutorial/items.py: 项目items文件。
  •     tutorial/pipelines.py: 项目管道文件。
  •     tutorial/settings.py: 项目配置文件。
  •     tutorial/spiders/: 你将要放入你的spider到这个目录中。

定义我们的Item

Items是装载我们抓取数据的容器。它们工作像简单的Python字典,它提供更多的保护,比如对未定义的字段提供填充功能防止出错。

它们通过创建scrapy.item.Item类来声明并定义它们的属性作为scrapy.item.Field 对象,就像是一个对象关系映射(假如你不熟悉ORMs,你将会看见它是一个简单的任务).

我们将需要的item模块化,来控制从demoz.org网站获取的数据,比如我们将要去抓取网站的名字,url和描述信息。我们定义这三种属性的域。我们编辑items.py文件,它在向导目录中。我们Item类看起来像这样。

 

from scrapy.item import Item, Field
 
class DmozItem(Item):
 title = Field()
 link = Field()
 desc = Field()

这个看起来复杂的,但是定义这些item能让你用其他Scrapy组件的时候知道你的item到底是什么

我们第一个Spider

Spiders是用户写的类,它用来去抓取一个网站的信息(或者一组网站) 。
我们定义一个初始化的URLs列表去下载,如何跟踪链接,如何去解析这些页面的内容去提取 items.创建一个Spider,你必须是scrapy.spider.BaseSpider的子类, 并定义三个主要的,强制性的属性。

    名字: Spider的标识. 它必须是唯一的, 那就是说,你不能在不同的Spiders中设置相同的名字。

    开始链接:Spider将会去爬这些URLs的列表。所以刚开始的下载页面将要包含在这些列表中。其他子URL将会从这些起始URL中继承性生成。

    parse() 是spider的一个方法, 调用时候传入从每一个URL传回的Response对象作为参数。response是方法的唯一参数。

    这个方法负责解析response数据和提出抓取的数据(作为抓取的items),跟踪URLs

    parse()方法负责处理response和返回抓取数据(作为Item对象) 和跟踪更多的URLs(作为request的对象)

这是我们的第一个Spider的代码;它保存在moz/spiders文件夹中,被命名为dmoz_spider.py：
 

from scrapy.spider import BaseSpider
 
class DmozSpider(BaseSpider):
 name = "dmoz"
 allowed_domains = ["dmoz.org"]
 start_urls = [
  "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
  "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
 ]
 
 def parse(self, response):
  filename = response.url.split("/")[-2]
  open(filename, 'wb').write(response.body)

爬

为了使你的spider工作, 到项目的顶级目录让后运行:

scrapy crawl dmoz

crawl dmoz命令使spider去爬dmoz.org网站的信息。你将会得到如下类似的信息:

2008-08-20 03:51:13-0300 [scrapy] INFO: Started project: dmoz
2008-08-20 03:51:13-0300 [tutorial] INFO: Enabled extensions: ...
2008-08-20 03:51:13-0300 [tutorial] INFO: Enabled downloader middlewares: ...
2008-08-20 03:51:13-0300 [tutorial] INFO: Enabled spider middlewares: ...
2008-08-20 03:51:13-0300 [tutorial] INFO: Enabled item pipelines: ...
2008-08-20 03:51:14-0300 [dmoz] INFO: Spider opened
2008-08-20 03:51:14-0300 [dmoz] DEBUG: Crawled <http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/> (referer: <None>)
2008-08-20 03:51:14-0300 [dmoz] DEBUG: Crawled <http://www.dmoz.org/Computers/Programming/Languages/Python/Books/> (referer: <None>)
2008-08-20 03:51:14-0300 [dmoz] INFO: Spider closed (finished)

注意那些行包含[dmoz], 它和我们的spider相关。你能够看见每行初始化的URL日志信息。因为这些URLs是起始页面,所以他们没有引用referrers。 所以在每行的末尾部门,你能看见(referer: <None>).

但是有趣的是,在我们的parse方法作用下,两个文件被创建: Books and Resources, 它保航两个URLs的内容
刚刚发生了什么事情?

Scrapy为每一个start_urls创建一个scrapy.http.Request对象,并将爬虫的parse 方法指定为回调函数。

这些Request首先被调度,然后被执行,之后通过parse()方法,将scrapy.http.Response对象被返回,结果也被反馈给爬虫。

提取Items
选择器介绍

我们有多种方式去提取网页中数据。Scrapy 使用的是XPath表达式,通常叫做XPath selectors。如果想了解更多关于选择器和提取数据的机制,可以看看如下教程XPath selectors documentation.

这里有一些表达式的例子和它们相关的含义:

  •     /html/head/title: 选择<title>元素,在HTML文档的<head>元素里
  •     /html/head/title/text(): 选择<title>元素里面的文本
  •     //td: 选择所有的<td>元素
  •     //div[@class="mine"]: 选择所有的div元素里面class属性为mine的

这里有许多的例子关于怎么使用XPath,可以说XPath表达式是非常强大的。如果你想要学习更多关于XPath,我们推荐如下教程this XPath tutorial.

为了更好使用XPaths, Scrapy提供了一个XPathSelector类,它有两种方式, HtmlXPathSelector(HTML相关数据)和XmlXPathSelector(XML相关数据)。如果你想使用它们,你必须实例化一个Response对象.

你能够把selectors作为对象,它代表文件结构中的节点。所以,第1个实例的节点相当于root节点,或者称为整个文档的节点。

选择器有三种方法(点击方法你能够看见完整的API文档)。

  •     select(): 返回选择器的列表,每一个select表示一个xpath表达式选择的节点。
  •     extract(): 返回一个unicode字符串 ,该字符串XPath选择器返回的数据。
  •     re() : 返回unicode字符串列表,字符串作为参数由正则表达式提取出来。

在Shell里面使用选择器

为了更加形象的使用选择器,我们将会使用Scrapy shell,它同时需要你的系统安装IPython (一个扩展的Python控制台)。

如果使用shell,你必须到项目的顶级目录上,让后运行如下命令:

scrapy shell http://www.dmoz.org/Computers/Programming/Languages/Python/Books/

shell将会显示如下的信息

[ ... Scrapy log here ... ]

[s] Available Scrapy objects:
[s] 2010-08-19 21:45:59-0300 [default] INFO: Spider closed (finished)
[s] hxs  <HtmlXPathSelector (http://www.dmoz.org/Computers/Programming/Languages/Python/Books/) xpath=None>
[s] item  Item()
[s] request <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Books/>
[s] response <200 http://www.dmoz.org/Computers/Programming/Languages/Python/Books/>
[s] spider  <BaseSpider 'default' at 0x1b6c2d0>
[s] xxs  <XmlXPathSelector (http://www.dmoz.org/Computers/Programming/Languages/Python/Books/) xpath=None>
[s] Useful shortcuts:
[s] shelp()   Print this help
[s] fetch(req_or_url) Fetch a new request or URL and update shell objects
[s] view(response) View response in a browser

In [1]:

当shell装载之后,你将会得到一个response的本地变量。所以你输入reponse.body,你能够看见response的body部分或者你能够输入response.headers,你能够看见reponse.headers部分。

shell同样实例化了两个选择器,一个是HTML(在hvx变量里),一个是XML(在xxs变量里)。所以我们尝试怎么使用它们:

In [1]: hxs.select('//title')
Out[1]: [<HtmlXPathSelector (title) xpath=//title>]

In [2]: hxs.select('//title').extract()
Out[2]: [u'<title>Open Directory - Computers: Programming: Languages: Python: Books</title>']

In [3]: hxs.select('//title/text()')
Out[3]: [<HtmlXPathSelector (text) xpath=//title/text()>]

In [4]: hxs.select('//title/text()').extract()
Out[4]: [u'Open Directory - Computers: Programming: Languages: Python: Books']

In [5]: hxs.select('//title/text()').re('(\w+):')
Out[5]: [u'Computers', u'Programming', u'Languages', u'Python']

提取数据Extracting the data

现在我们开始尝试在这几个页面里提取真正的信息。

你能够在控制台里面输入response.body,检查源代码里面的XPaths是否与预期相同。然而,检查原始的HTML代码是一件非常枯燥乏味的事情。假如你想让你的工作变的简单,你使用Firefox扩展的插件例如Firebug来做这项任务。更多关于介绍信息请看Using Firebug for scraping和Using Firefox for scraping。

当你检查了页面源代码之后,你将会发现页面的信息放在一个<ul>元素里面,事实上,确切地说是第二个<ul>元素。

所以我们选择每一个<li>元素使用如下的代码：
 

hxs.select('//ul/li')

网站的描述信息可以使用如下代码:
 

hxs.select('//ul/li/text()').extract()

网站的标题:
 

hxs.select('//ul/li/a/text()').extract()

网站的链接:
 

hxs.select('//ul/li/a/@href').extract()

如前所述，每个select()调用返回一个selectors列表，所以我们可以结合select()去挖掘更深的节点。我们将会用到这些特性，所以:
 

sites = hxs.select('//ul/li')
for site in sites:
 title = site.select('a/text()').extract()
 link = site.select('a/@href').extract()
 desc = site.select('text()').extract()
 print title, link, desc

Note

如果想了解更多的嵌套选择器,可以参考Nesting selectors和Working with relative XPaths相关的Selectors文档
将代码添加到我们spider中:

 

from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
 
class DmozSpider(BaseSpider):
 name = "dmoz"
 allowed_domains = ["dmoz.org"]
 start_urls = [
  "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
  "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
 ]
 
 def parse(self, response):
  hxs = HtmlXPathSelector(response)
  sites = hxs.select('//ul/li')
  for site in sites:
   title = site.select('a/text()').extract()
   link = site.select('a/@href').extract()
   desc = site.select('text()').extract()
   print title, link, desc

现在我们再次抓取dmoz.org，你将看到站点在输出中被打印 ，运行命令:
 

scrapy crawl dmoz

使用我们的 item

Item对象是自定义python字典;使用标准字典类似的语法,你能够访问它们的字段(就是以前我们定义的属性) 
 

>>> item = DmozItem()
>>> item['title'] = 'Example title'
>>> item['title']
'Example title'

Spiders希望将抓取的数据放在 Item对象里。所以,为了返回我们抓取的数据,最终的代码要如下这么写 :

 

from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
 
from tutorial.items import DmozItem
 
class DmozSpider(BaseSpider):
 name = "dmoz"
 allowed_domains = ["dmoz.org"]
 start_urls = [
  "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
  "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
 ]
 
 def parse(self, response):
  hxs = HtmlXPathSelector(response)
  sites = hxs.select('//ul/li')
  items = []
  for site in sites:
   item = DmozItem()
   item['title'] = site.select('a/text()').extract()
   item['link'] = site.select('a/@href').extract()
   item['desc'] = site.select('text()').extract()
   items.append(item)
  return items
Note

你能够找到完整功能的spider在dirbot项目里,同样你可以访问https://github.com/scrapy/dirbot

现在重新抓取dmoz.org网站:

[dmoz] DEBUG: Scraped from <200 http://www.dmoz.org/Computers/Programming/Languages/Python/Books/>
  {'desc': [u' - By David Mertz; Addison Wesley. Book in progress, full text, ASCII format. Asks for feedback. [author website, Gnosis Software, Inc.\n],
  'link': [u'http://gnosis.cx/TPiP/'],
  'title': [u'Text Processing in Python']}
[dmoz] DEBUG: Scraped from <200 http://www.dmoz.org/Computers/Programming/Languages/Python/Books/>
  {'desc': [u' - By Sean McGrath; Prentice Hall PTR, 2000, ISBN 0130211192, has CD-ROM. Methods to build XML applications fast, Python tutorial, DOM and SAX, new Pyxie open source XML processing library. [Prentice Hall PTR]\n'],
  'link': [u'http://www.informit.com/store/product.aspx?isbn=0130211192'],
  'title': [u'XML Processing with Python']}


存储抓取的数据

最简单的方式去存储抓取的数据是使用Feed exports,使用如下的命令:

 

scrapy crawl dmoz -o items.json -t json

它将会产生一个items.json文件,它包含所有抓取的items(序列化的JSON)。

在一些小的项目里(例如我们的教程中),那就足够啦。然而,假如你想要执行更多复杂的抓取items,你能够写一个 Item Pipeline。 因为在项目创建的时候，一个专门用于Item Pipelines的占位符文件已经随着项目一起被建立，目录在tutorial/pipelines.py。如果你只需要存取这些抓取后的items的话，就不需要去实现任何的条目管道。

使用Python的Scrapy框架编写web爬虫的简单示例

- Author -

goldensun

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
python删除指定类型（或非指定）的文件实例详解
Jul 06 Python
Python简单实现控制电脑的方法
Jan 22 Python
Python反转序列的方法实例分析
Mar 21 Python
Python使用pylab库实现绘制直方图功能示例
Jun 01 Python
pygame游戏之旅 游戏中添加显示文字
Nov 20 Python
python实现基于信息增益的决策树归纳
Dec 18 Python
Django单元测试中Fixtures的使用方法
Feb 26 Python
Python3之乱码\xe6\x97\xa0\xe6\xb3\x95处理方式
May 11 Python
python实现密码验证合格程序的思路详解
Jun 01 Python
Python将字典转换为XML的方法
Aug 01 Python
Python读取pdf表格写入excel的方法
Jan 22 Python
Python+Appium实现自动化清理微信僵尸好友的方法
Feb 04 Python
用Python的Django框架编写从Google Adsense中获得报表的应用
Apr 17 #Python
在Docker上开始部署Python应用的教程
Apr 17 #Python
使用Python装饰器在Django框架下去除冗余代码的教程
Apr 16 #Python
在服务器端实现无间断部署Python应用的教程
Apr 16 #Python
使用Protocol Buffers的C语言拓展提速Python程序的示例
Apr 16 #Python
使用Python编写一个模仿CPU工作的程序
Apr 16 #Python
利用Python中的mock库对Python代码进行模拟测试
Apr 16 #Python
Vite(1) 热力图(1) 字符画(1) 脚本(1) hook(1) 外键约束(1) 数据备份(2) dict(1) Foreign Key(1) expdp(1)
You might like
PHP数组的定义、初始化和数组元素的显示实现代码
2016/11/05 PHP
thinkPHP框架对接支付宝即时到账接口回调操作示例
2016/11/14 PHP
PHP实现的常规正则验证helper公共类完整实例
2017/04/27 PHP
利用JQuery的load函数动态加载其它页面的内容的实现代码
2010/12/14 Javascript
javascript 回到顶部效果的实现代码
2014/02/17 Javascript
node.js WEB开发中图片验证码的实现方法
2014/06/03 Javascript
jQuery如何使用自动触发事件trigger
2015/11/29 Javascript
jQuery validate插件实现ajax验证重复的2种方法
2016/01/22 Javascript
JavaScript中Form表单技术汇总(推荐)
2016/06/26 Javascript
JS基础随笔(菜鸟必看篇)
2016/07/13 Javascript
jQuery查找节点方法完整实例
2016/09/13 Javascript
利用JQuery阻止事件冒泡
2016/12/01 Javascript
Node.js 使用命令行工具检查更新
2017/06/08 Javascript
基于JS实现带动画效果的流程进度条
2018/06/01 Javascript
JavaScript选择排序算法原理与实现方法示例
2018/08/06 Javascript
vue-router 2.0 跳转之router.push()用法说明
2020/08/12 Javascript
Openlayers绘制聚合标注
2020/09/28 Javascript
把大数据数字口语化（python与js）两种实现
2013/02/21 Python
详解Python中的from..import绝对导入语句
2016/06/21 Python
python通过cookie模拟已登录状态的初步研究
2016/11/09 Python
python中异常报错处理方法汇总
2016/11/20 Python
详解python的数字类型变量与其方法
2016/11/20 Python
pandas string转dataframe的方法
2018/04/11 Python
Python如何实现邮件功能
2020/05/27 Python
CSS3动画之利用requestAnimationFrame触发重新播放功能
2019/09/11 HTML / CSS
canvas实现圆形进度条动画的示例代码
2017/12/26 HTML / CSS
Java程序员面试题
2013/07/15 面试题
物业保安员岗位职责制度
2014/01/30 职场文书
大学军训感言1500字
2014/03/09 职场文书
舞蹈专业大学生职业规划范文
2014/03/12 职场文书
中学生家长评语大全
2014/04/16 职场文书
民政局副局长民主生活会个人整改措施
2014/10/04 职场文书
2016春节家属慰问信
2015/03/25 职场文书
小学语文新课改心得体会
2016/01/22 职场文书
python 下载文件的几种方式分享
2021/04/07 Python
Tomcat安装使用及部署Web项目的3种方法汇总
2022/08/14 Servers