Python爬虫Scrapy框架CrawlSpider原理及使用案例


Posted in Python onNovember 20, 2020

提问:如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话,有几种实现方法?

方法一:基于Scrapy框架中的Spider的递归爬去进行实现的(Request模块回调)

方法二:基于CrawlSpider的自动爬去进行实现(更加简洁和高效)

一、简单介绍CrawlSpider

CrawlSpider其实是Spider的一个子类,除了继承到Spider的特性和功能外,还派生除了其自己独有的更加强大的特性和功能。其中最显著的功能就是”LinkExtractors链接提取器“。Spider是所有爬虫的基类,其设计原则只是为了爬取start_url列表中网页,而从爬取到的网页中提取出的url进行继续的爬取工作使用CrawlSpider更合适。

二、使用

1.创建scrapy工程(cmd切换到要创建项目的文件夹下执行):scrapy startproject projectName (如:scrapy startproject crawlPro)

2.创建爬虫文件(cmd切换到创建的项目下执行):scrapy genspider -t crawl spiderName www.xxx.com (如:scrapy genspider -t crawl crawlDemo www.qiushibaike.com)

--此指令对比以前的指令多了 "-t crawl",表示创建的爬虫文件是基于CrawlSpider这个类的,而不再是Spider这个基类。

3.启动爬虫文件(cmd基于步骤二的路径执行):scrapy crawl crawlDemo (启动的一定是name对应的值,如果爬虫文件与name的值不一致,任然以name的值进行启动)

观察生成的爬虫文件

crawlDemo.py

# -*- coding: utf-8 -*-
import scrapy
# 导入CrawlSpider相关模块
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule

# 表示该爬虫程序是基于CrawlSpider类的
class CrawldemoSpider(CrawlSpider):
  name = 'crawlDemo'  #爬虫文件名称
  #allowed_domains = ['www.qiushibaike.com']
  start_urls = ['http://www.qiushibaike.com/']
  
  #连接提取器:会去起始url响应回来的页面中提取指定的url
  link = LinkExtractor(allow=r'/8hr/page/\d+')
  #rules元组中存放的是不同的规则解析器(封装好了某种解析规则)
  rules = (
    #规则解析器:可以将连接提取器提取到的所有连接表示的页面进行指定规则(回调函数)的解析
    Rule(link, callback='parse_item', follow=True),
  )
  # 解析方法
  def parse_item(self, response):
    #print(response.url)
    divs = response.xpath('//div[@id="content-left"]/div')
    for div in divs:
      author = div.xpath('./div[@class="author clearfix"]/a[2]/h2/text()').extract_first()
      print(author)

CrawlSpider类和Spider类的最大不同是CrawlSpider多了一个rules属性,其作用是定义”提取动作“。在rules中可以包含一个或多个Rule对象,在Rule对象中包含了LinkExtractor对象。 

三、生成的爬虫文件参数介绍

3.1 LinkExtractor:顾名思义,链接提取器。

LinkExtractor(

  allow=r'Items/',# 满足括号中“正则表达式”的值会被提取,如果为空,则全部匹配。

deny=xxx, # 满足正则表达式的则不会被提取。

restrict_xpaths=xxx, # 满足xpath表达式的值会被提取

restrict_css=xxx, # 满足css表达式的值会被提取

deny_domains=xxx, # 不会被提取的链接的domains。 

)

- 作用:提取response中符合规则的链接。 

3.2 Rule : 规则解析器。根据链接提取器中提取到的链接,根据指定规则提取解析器链接网页中的内容。

Rule(LinkExtractor(allow=r'Items/'), callback='parse_item', follow=True)

- 参数介绍:

参数1:指定链接提取器

参数2:指定规则解析器解析数据的规则(回调函数)

参数3:是否将链接提取器继续作用到链接提取器提取出的链接网页中。当callback为None,参数3的默认值为true。

3.3 rules=( ):指定不同规则解析器。一个Rule对象表示一种提取规则。

3.4 CrawlSpider整体爬取流程:

a)爬虫文件首先根据起始url,获取该url的网页内容

b)链接提取器会根据指定提取规则将步骤a中网页内容中的链接进行提取

c)规则解析器会根据指定解析规则将链接提取器中提取到的链接中的网页内容根据指定的规则进行解析

d)将解析数据封装到item中,然后提交给管道进行持久化存储

四、基于CrawlSpider示例

创建爬虫项目和启动爬虫项目以及settings中配置自行完成,在这里不在追赘述

4.1爬虫文件

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from qiubaiBycrawl.items import QiubaibycrawlItem
import re
class QiubaitestSpider(CrawlSpider):
  name = 'qiubaiTest'
  #起始url
  start_urls = ['http://www.qiushibaike.com/']

  #定义链接提取器,且指定其提取规则
  page_link = LinkExtractor(allow=r'/8hr/page/\d+/')
  
  rules = (
    #定义规则解析器,且指定解析规则通过callback回调函数
    Rule(page_link, callback='parse_item', follow=True),
  )

  #自定义规则解析器的解析规则函数
  def parse_item(self, response):
    div_list = response.xpath('//div[@id="content-left"]/div')
    
    for div in div_list:
      #定义item
      item = QiubaibycrawlItem()
      #根据xpath表达式提取糗百中段子的作者
      item['author'] = div.xpath('./div/a[2]/h2/text()').extract_first().strip('\n')
      #根据xpath表达式提取糗百中段子的内容
      item['content'] = div.xpath('.//div[@class="content"]/span/text()').extract_first().strip('\n')

      yield item #将item提交至管道

4.2items文件

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class QiubaibycrawlItem(scrapy.Item):
  # define the fields for your item here like:
  # name = scrapy.Field()
  author = scrapy.Field() #作者
  content = scrapy.Field() #内容

4.3管道文件

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html

class QiubaibycrawlPipeline(object):
  
  def __init__(self):
    self.fp = None
    
  def open_spider(self,spider):
    print('开始爬虫')
    self.fp = open('./data.txt','w')
    
  def process_item(self, item, spider):
    #将爬虫文件提交的item写入文件进行持久化存储
    self.fp.write(item['author']+':'+item['content']+'\n')
    return item
  
  def close_spider(self,spider):
    print('结束爬虫')
    self.fp.close()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python基于xml parse实现解析cdatasection数据
Sep 30 Python
将Django使用的数据库从MySQL迁移到PostgreSQL的教程
Apr 11 Python
python计算文本文件行数的方法
Jul 06 Python
Django中对数据查询结果进行排序的方法
Jul 17 Python
PyQt5每天必学之滑块控件QSlider
Apr 20 Python
Flask教程之重定向与错误处理实例分析
Aug 01 Python
Python绘制三角函数图(sin\cos\tan)并标注特定范围的例子
Dec 04 Python
使用Matplotlib 绘制精美的数学图形例子
Dec 13 Python
Python之Class&Object用法详解
Dec 25 Python
python实现四人制扑克牌游戏
Apr 22 Python
基于python实现生成指定大小txt文档
Jul 20 Python
python爬虫中url管理器去重操作实例
Nov 30 Python
Pyqt助手安装PyQt5帮助文档过程图解
Nov 20 #Python
python IP地址转整数
Nov 20 #Python
Python django框架 web端视频加密的实例详解
Nov 20 #Python
总结python 三种常见的内存泄漏场景
Nov 20 #Python
Python偏函数实现原理及应用
Nov 20 #Python
python与idea的集成的实现
Nov 20 #Python
安装pyinstaller遇到的各种问题(小结)
Nov 20 #Python
You might like
几款免费开源的不用数据库的php的cms
2010/12/19 PHP
删除html标签得到纯文本可处理嵌套的标签
2014/04/28 PHP
PHP实现的带超时功能get_headers函数
2015/02/10 PHP
php实现的简单检验登陆类
2015/06/18 PHP
PHP概率计算函数汇总
2015/09/13 PHP
PHP使用Memcache时模拟命名空间及缓存失效问题的解决
2016/02/27 PHP
PHP实现一个轻量级容器的方法
2019/01/28 PHP
thinkphp5 框架结合plupload实现图片批量上传功能示例
2020/04/04 PHP
使用jquery选择器如何获取父级元素、同级元素、子元素
2014/05/14 Javascript
简单了解Backbone.js的Model模型以及View视图的源码
2016/02/14 Javascript
Android中Okhttp3实现上传多张图片同时传递参数
2017/02/18 Javascript
详解angularjs利用ui-route异步加载组件
2017/05/21 Javascript
JavaScript的setter与getter方法
2017/11/29 Javascript
微信小程序实现form表单本地储存数据
2019/06/27 Javascript
vue+elementUI实现图片上传功能
2019/08/20 Javascript
ES6 class类链式继承,实例化及react super(props)原理详解
2020/02/15 Javascript
js中位数不足自动补位扩展padLeft、padRight实现代码
2020/04/06 Javascript
nuxt引入组件和公共样式的操作
2020/11/05 Javascript
vue+vant实现购物车全选和反选功能
2020/11/17 Vue.js
python使用分治法实现求解最大值的方法
2015/05/12 Python
Python网络编程详解
2017/10/31 Python
使用Python AIML搭建聊天机器人的方法示例
2018/07/09 Python
Python全局变量与局部变量区别及用法分析
2018/09/03 Python
用Python实现读写锁的示例代码
2018/11/05 Python
对python 多个分隔符split 的实例详解
2018/12/20 Python
Django forms表单 select下拉框的传值实例
2019/07/19 Python
opencv3/C++实现视频背景去除建模(BSM)
2019/12/11 Python
python能开发游戏吗
2020/06/11 Python
Python用户自定义异常的实现
2020/12/25 Python
来自世界各地的优质葡萄酒:VineShop24
2018/07/09 全球购物
JS原生实现轮播图的几种方法
2021/03/23 Javascript
网上快餐厅创业计划书
2014/02/01 职场文书
校运会加油稿大全
2015/07/22 职场文书
jquery插件实现悬浮的菜单
2021/04/24 jQuery
MySQL 存储过程的优缺点分析
2021/05/20 MySQL
MongoDB安装使用并实现Python操作数据库
2021/06/28 MongoDB