Python爬虫Scrapy框架CrawlSpider原理及使用案例


Posted in Python onNovember 20, 2020

提问:如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话,有几种实现方法?

方法一:基于Scrapy框架中的Spider的递归爬去进行实现的(Request模块回调)

方法二:基于CrawlSpider的自动爬去进行实现(更加简洁和高效)

一、简单介绍CrawlSpider

CrawlSpider其实是Spider的一个子类,除了继承到Spider的特性和功能外,还派生除了其自己独有的更加强大的特性和功能。其中最显著的功能就是”LinkExtractors链接提取器“。Spider是所有爬虫的基类,其设计原则只是为了爬取start_url列表中网页,而从爬取到的网页中提取出的url进行继续的爬取工作使用CrawlSpider更合适。

二、使用

1.创建scrapy工程(cmd切换到要创建项目的文件夹下执行):scrapy startproject projectName (如:scrapy startproject crawlPro)

2.创建爬虫文件(cmd切换到创建的项目下执行):scrapy genspider -t crawl spiderName www.xxx.com (如:scrapy genspider -t crawl crawlDemo www.qiushibaike.com)

--此指令对比以前的指令多了 "-t crawl",表示创建的爬虫文件是基于CrawlSpider这个类的,而不再是Spider这个基类。

3.启动爬虫文件(cmd基于步骤二的路径执行):scrapy crawl crawlDemo (启动的一定是name对应的值,如果爬虫文件与name的值不一致,任然以name的值进行启动)

观察生成的爬虫文件

crawlDemo.py

# -*- coding: utf-8 -*-
import scrapy
# 导入CrawlSpider相关模块
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule

# 表示该爬虫程序是基于CrawlSpider类的
class CrawldemoSpider(CrawlSpider):
  name = 'crawlDemo'  #爬虫文件名称
  #allowed_domains = ['www.qiushibaike.com']
  start_urls = ['http://www.qiushibaike.com/']
  
  #连接提取器:会去起始url响应回来的页面中提取指定的url
  link = LinkExtractor(allow=r'/8hr/page/\d+')
  #rules元组中存放的是不同的规则解析器(封装好了某种解析规则)
  rules = (
    #规则解析器:可以将连接提取器提取到的所有连接表示的页面进行指定规则(回调函数)的解析
    Rule(link, callback='parse_item', follow=True),
  )
  # 解析方法
  def parse_item(self, response):
    #print(response.url)
    divs = response.xpath('//div[@id="content-left"]/div')
    for div in divs:
      author = div.xpath('./div[@class="author clearfix"]/a[2]/h2/text()').extract_first()
      print(author)

CrawlSpider类和Spider类的最大不同是CrawlSpider多了一个rules属性,其作用是定义”提取动作“。在rules中可以包含一个或多个Rule对象,在Rule对象中包含了LinkExtractor对象。 

三、生成的爬虫文件参数介绍

3.1 LinkExtractor:顾名思义,链接提取器。

LinkExtractor(

  allow=r'Items/',# 满足括号中“正则表达式”的值会被提取,如果为空,则全部匹配。

deny=xxx, # 满足正则表达式的则不会被提取。

restrict_xpaths=xxx, # 满足xpath表达式的值会被提取

restrict_css=xxx, # 满足css表达式的值会被提取

deny_domains=xxx, # 不会被提取的链接的domains。 

)

- 作用:提取response中符合规则的链接。 

3.2 Rule : 规则解析器。根据链接提取器中提取到的链接,根据指定规则提取解析器链接网页中的内容。

Rule(LinkExtractor(allow=r'Items/'), callback='parse_item', follow=True)

- 参数介绍:

参数1:指定链接提取器

参数2:指定规则解析器解析数据的规则(回调函数)

参数3:是否将链接提取器继续作用到链接提取器提取出的链接网页中。当callback为None,参数3的默认值为true。

3.3 rules=( ):指定不同规则解析器。一个Rule对象表示一种提取规则。

3.4 CrawlSpider整体爬取流程:

a)爬虫文件首先根据起始url,获取该url的网页内容

b)链接提取器会根据指定提取规则将步骤a中网页内容中的链接进行提取

c)规则解析器会根据指定解析规则将链接提取器中提取到的链接中的网页内容根据指定的规则进行解析

d)将解析数据封装到item中,然后提交给管道进行持久化存储

四、基于CrawlSpider示例

创建爬虫项目和启动爬虫项目以及settings中配置自行完成,在这里不在追赘述

4.1爬虫文件

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from qiubaiBycrawl.items import QiubaibycrawlItem
import re
class QiubaitestSpider(CrawlSpider):
  name = 'qiubaiTest'
  #起始url
  start_urls = ['http://www.qiushibaike.com/']

  #定义链接提取器,且指定其提取规则
  page_link = LinkExtractor(allow=r'/8hr/page/\d+/')
  
  rules = (
    #定义规则解析器,且指定解析规则通过callback回调函数
    Rule(page_link, callback='parse_item', follow=True),
  )

  #自定义规则解析器的解析规则函数
  def parse_item(self, response):
    div_list = response.xpath('//div[@id="content-left"]/div')
    
    for div in div_list:
      #定义item
      item = QiubaibycrawlItem()
      #根据xpath表达式提取糗百中段子的作者
      item['author'] = div.xpath('./div/a[2]/h2/text()').extract_first().strip('\n')
      #根据xpath表达式提取糗百中段子的内容
      item['content'] = div.xpath('.//div[@class="content"]/span/text()').extract_first().strip('\n')

      yield item #将item提交至管道

4.2items文件

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class QiubaibycrawlItem(scrapy.Item):
  # define the fields for your item here like:
  # name = scrapy.Field()
  author = scrapy.Field() #作者
  content = scrapy.Field() #内容

4.3管道文件

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html

class QiubaibycrawlPipeline(object):
  
  def __init__(self):
    self.fp = None
    
  def open_spider(self,spider):
    print('开始爬虫')
    self.fp = open('./data.txt','w')
    
  def process_item(self, item, spider):
    #将爬虫文件提交的item写入文件进行持久化存储
    self.fp.write(item['author']+':'+item['content']+'\n')
    return item
  
  def close_spider(self,spider):
    print('结束爬虫')
    self.fp.close()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python 排列组合之itertools
Mar 20 Python
Python实现基于HTTP文件传输实例
Nov 08 Python
Python处理字符串之isspace()方法的使用
May 19 Python
详解Golang 与python中的字符串反转
Jul 21 Python
Python paramiko模块的使用示例
Apr 11 Python
Python+OpenCV感兴趣区域ROI提取方法
Jan 10 Python
Python读取实时数据流示例
Dec 02 Python
python实现最速下降法
Mar 24 Python
Python读取Excel一列并计算所有对象出现次数的方法
Sep 04 Python
python利用opencv保存、播放视频
Nov 02 Python
如何在vscode中安装python库的方法步骤
Jan 06 Python
Python爬虫数据的分类及json数据使用小结
Mar 29 Python
Pyqt助手安装PyQt5帮助文档过程图解
Nov 20 #Python
python IP地址转整数
Nov 20 #Python
Python django框架 web端视频加密的实例详解
Nov 20 #Python
总结python 三种常见的内存泄漏场景
Nov 20 #Python
Python偏函数实现原理及应用
Nov 20 #Python
python与idea的集成的实现
Nov 20 #Python
安装pyinstaller遇到的各种问题(小结)
Nov 20 #Python
You might like
phpmyadmin 常用选项设置详解版
2010/03/07 PHP
学习php笔记 字符串处理
2010/10/19 PHP
php上传图片客户端和服务器端实现方法
2015/03/30 PHP
PHP模板引擎Smarty内建函数section,sectionelse用法详解
2016/04/11 PHP
VSCode+PHPstudy配置PHP开发环境的步骤详解
2020/08/20 PHP
增强的 JavaScript 的 trim 函数的代码
2007/08/13 Javascript
JavaScript 继承详解(二)
2009/07/13 Javascript
给事件响应函数传参数的四种方式小结
2013/12/05 Javascript
JavaScript的内存释放问题详解
2015/01/21 Javascript
jQuery实现菜单感应鼠标滑动动画效果的方法
2015/02/28 Javascript
基于bootstrap页面渲染的问题解决方法
2018/08/09 Javascript
vue中如何实现后台管理系统的权限控制的方法示例
2018/09/19 Javascript
bootstrap-table实现表头固定以及列固定的方法示例
2019/03/07 Javascript
JavaScript canvas仿代码流瀑布
2020/02/10 Javascript
JavaScript实现电灯开关小案例
2020/03/30 Javascript
一篇文章让你搞懂JavaScript 原型和原型链
2020/11/23 Javascript
使用Typescript开发微信小程序的步骤详解
2021/01/12 Javascript
[49:30]DOTA2-DPC中国联赛正赛 Dragon vs Dynasty BO3 第二场 3月4日
2021/03/11 DOTA
pyqt4教程之messagebox使用示例分享
2014/03/07 Python
Python多线程编程(二):启动线程的两种方法
2015/04/05 Python
Python中用memcached来减少数据库查询次数的教程
2015/04/07 Python
Python实现全角半角字符互转的方法
2016/11/28 Python
django框架如何集成celery进行开发
2017/05/24 Python
python交互式图形编程实例(三)
2017/11/17 Python
Python网络编程之TCP与UDP协议套接字用法示例
2018/02/02 Python
通过python实现随机交换礼物程序详解
2019/07/10 Python
Python实现Kerberos用户的增删改查操作
2020/12/14 Python
CSS3的一个简单导航栏实现
2015/08/03 HTML / CSS
俄罗斯购买自行车网站:Vamvelosiped
2021/01/29 全球购物
全球最大的瓷器、水晶和银器零售商:Replacements
2020/06/15 全球购物
高三体育教学反思
2014/01/29 职场文书
中式婚礼主持词
2014/03/13 职场文书
岗位工作说明书
2014/07/29 职场文书
大客户经理岗位职责
2015/04/09 职场文书
2015年社区教育工作总结
2015/05/13 职场文书
CSS3实现列表无限滚动/轮播效果
2021/06/23 HTML / CSS