Python爬虫框架之Scrapy中Spider的用法


Posted in Python onJune 28, 2021

Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。换句话说,Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。

对spider来说,爬取的循环类似下文:

1.以初始的URL初始化Request,并设置回调函数。当该request下载完毕并返回时,将生成response,并作为参数传给该回调函数。spider中初始的request是通过调用start_requests()来获取的。start_requests()读取start_urls中的URL,并以parse为回调函数生成Request。

2.在回调函数内分析返回的(网页)内容,返回ltem对象或者Request或者一个包括二者的可迭代容器。返回的Request对象之后会经过Scrapy处理,下载相应的内容,并调用设置的callback函数(函数可相同)。

3.在回调函数内,您可以使用选择器(Selectors)(您也可以使用BeautifulSoup, Ixml或者您想用的任何解析器)来分析网页内容,并根据分析的数据生成item。

4.最后,由spider返回的item将被存到数据库(由某些ltem Pipeline处理)或使用Feed exports存入到文件中。

虽然该循环对任何类型的spider都(多少)适用,但Scrapy仍然为了不同的需求提供了多种默认spider。之后将讨论这些spider。

Spider

scrapy.spider.Spider是最简单的spider。每个其他的spider必须继承自该类(包括Scrapy自带的其他spider以及您自己编写的spider)。其仅仅请求给定的start_urls / start_requests,并根据返回的结果(resulting responses)调用spider的 parse方法。

name

定义spider名字的字符串(string)。spider的名字定义了Scrapy如何定位(并初始化) spider,所以其必须是唯一的。不过您可以生成多个相同的spider实例(instance),这没有任何限制。name是spider最重要的属性,而且是必须的。

如果该spider爬取单个网站(single domain),一个常见的做法是以该网站(domain)(加或不加后缀)来命名spider。例如,如果spider爬取 mywebsite.com,该spider通常会被命名为mywebsite。

allowed_domains

可选。包含了spider允许爬取的域名(domain)列表(list)。当OffsiteMiddleware启用时,域名不在列表中的URL不会被跟进。

start_urls

URL列表。当没有制定特定的URL时,spider将从该列表中开始进行爬取。因此,第一个被获取到的页面的URL将是该列表之一。后续的URL将会从获取到的数据中提取。

start_requests()

该方法必须返回一个可迭代对象(iterable)。该对象包含了spider用于爬取的第一个Request。

当spider启动爬取并且未制定URL时,该方法被调用。当指定了URL时,make_requests_from_url()将被调用来创建Request对象。该方法仅仅会被Scrapy调用一次,因此您可以将其实现为生成器。

该方法的默认实现是使用start_urls的url生成Request。

如果您想要修改最初爬取某个网站的Request对象,您可以重写(override)该方法。例如,如果您需要在启动时以POST登录某个网站,你可以这么写:

def start_requests(self) :
    return [scrapy.FormRequest("http : / /ww. example.com/login",
        formdata={ 'user' : 'john', ' pass ' : 'secret'},
        ca77back=se1f.1ogged_in)]
 
def logged_in(self,response) :
## here you would extract links to follow and return Requests for
## each of them,with another ca77back
pass

parse

当response没有指定回调函数时,该方法是Scrapy处理下载的response的默认方法。

parse负责处理response并返回处理的数据以及(/或)跟进的URL。Spider对其他的Request的回调函数也有相同的要求。

该方法及其他的Request回调函数必须返回一个包含Request 及(或) ltem的可迭代的对象。

参数: response-用于分析的response

启动方式

start_urls

start_urls是一个列表

start_requests

使用start_requests()重写start_ur1s,要使用Request()方法自己发送请求:

def start_requests(se7f):
    """重写start_urls 规则"""
    yield scrapy.Request(ur1='http://quotes.toscrape.com/page/1/'cal1back=self.parse)

scrapy.Request

scrapy.Request是一个请求对象,创建时必须制定回调函数。

数据保存

可以使用-o将数据保存为常见的格式(根据后缀名保存)
支持的格式有下面几种:

  • json
  • jsonlines
  • jl
  • csv
  • xml
  • marshal
  • pickle

使用方式:

scrapy crawl quotes2 -o a.json

案例: Spider样例

##一*- coding: utf-8 -*-
 
import scrapy
 
clTass Quotes2spider(scrapy.spider):
    name = 'quotes2'
    a7lowed_domains = [ 'toscrape.com ' ]
    start_urls = [ ' http: //quotes.toscrape.com/ page/2/ ']
 
    def parse(self,response):
        quotes = response.css('.quote ' )
        for quote in quotes:
            text = quote.css( '.text: : text ' ).extract_first()
            auth = quote.css( '.author : :text ').extract_first()
            tages = quote.css('.tags a: :text' ).extract()
            yield dict(text=text , auth=auth, tages=tages)

到此这篇关于Python爬虫框架之Scrapy中Spider的用法的文章就介绍到这了,更多相关Spider的用法内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python使用str & repr转换字符串
Oct 13 Python
对Python中range()函数和list的比较
Apr 19 Python
python3.5 email实现发送邮件功能
May 22 Python
Python中if elif else及缩进的使用简述
May 31 Python
Python学习小技巧总结
Jun 10 Python
mac PyCharm添加Python解释器及添加package路径的方法
Oct 29 Python
Ubuntu下升级 python3.7.1流程备忘(推荐)
Dec 10 Python
Python2和Python3之间的str处理方式导致乱码的讲解
Jan 03 Python
这可能是最好玩的python GUI入门实例(推荐)
Jul 19 Python
Python实现数字的格式化输出
Aug 01 Python
Python批量删除mysql中千万级大量数据的脚本分享
Dec 03 Python
简单谈谈Python面向对象的相关知识
Jun 28 #Python
Python利用机器学习算法实现垃圾邮件的识别
浅谈Python中的正则表达式
Jun 28 #Python
python中subplot大小的设置步骤
手把手教你实现PyTorch的MNIST数据集
PyMongo 查询数据的实现
Jun 28 #Python
浅谈哪个Python库才最适合做数据可视化
You might like
隐性调用php程序的方法
2015/06/13 PHP
详解thinkphp中的volist标签
2018/01/15 PHP
CSS3画一个阴阳八卦图
2021/03/09 HTML / CSS
JS中实现replaceAll的方法(实例代码)
2013/11/12 Javascript
jQuery表格插件ParamQuery简单使用方法示例
2013/12/05 Javascript
jQuery实现单击按钮遮罩弹出对话框(仿天猫的删除对话框)
2014/04/10 Javascript
js添加事件的通用方法推荐
2016/05/15 Javascript
JS验证 只能输入小数点,数字,负数的实现方法
2016/10/07 Javascript
livereload工具实现前端可视化开发【推荐】
2016/12/23 Javascript
Vue.js基础知识小结
2017/01/13 Javascript
Node.JS文件系统解析实例详解
2017/05/15 Javascript
angularjs下拉框空白的解决办法
2017/06/20 Javascript
react native实现往服务器上传网络图片的实例
2017/08/07 Javascript
IntersectionObserver实现图片懒加载的示例
2017/09/29 Javascript
nodejs实现爬取网站图片功能
2017/12/14 NodeJs
微信小程序实现图片上传、删除和预览功能的方法
2017/12/18 Javascript
Angular实现的自定义模糊查询、排序及三角箭头标注功能示例
2017/12/28 Javascript
Vuex实现计数器以及列表展示效果
2018/03/10 Javascript
JS实现字符串去重及数组去重的方法示例
2018/04/21 Javascript
vue如何判断dom的class
2018/04/26 Javascript
vue+axios 前端实现登录拦截的两种方式(路由拦截、http拦截)
2018/10/24 Javascript
使用 vue 实例更好的监听事件及vue实例的方法
2019/04/22 Javascript
JS查找孩子节点简单示例
2019/07/25 Javascript
python面向对象 反射原理解析
2019/08/12 Python
python使用建议技巧分享(三)
2020/08/18 Python
使用bandit对目标python代码进行安全函数扫描的案例分析
2021/01/27 Python
HTML5中的autofocus(自动聚焦)属性介绍
2014/04/23 HTML / CSS
戴尔美国官网:Dell
2016/08/31 全球购物
英国顶级水晶珠宝零售商之一:Tresor Paris
2019/04/27 全球购物
中国京东和泰国中央集团合资的网站:JD CENTRAL
2020/08/22 全球购物
倡议书格式
2014/08/30 职场文书
依法行政工作汇报材料
2014/10/28 职场文书
工作年限证明模板
2014/11/01 职场文书
2015年生产车间工作总结
2015/04/22 职场文书
python基于turtle绘制几何图形
2021/06/15 Python
MySQL transaction事务安全示例讲解
2022/06/21 MySQL