python爬虫scrapy基于CrawlSpider类的全站数据爬取示例解析


Posted in Python onFebruary 20, 2021

一、CrawlSpider类介绍

1.1 引入

使用scrapy框架进行全站数据爬取可以基于Spider类,也可以使用接下来用到的CrawlSpider类。基于Spider类的全站数据爬取之前举过栗子,感兴趣的可以康康

1.2 介绍和使用

1.2.1 介绍

CrawlSpider是Spider的一个子类,因此CrawlSpider除了继承Spider的特性和功能外,还有自己特有的功能,主要用到的是 LinkExtractor()rules = (Rule(LinkExtractor(allow=r'Items/'), callback='parse_item', follow=True),)

LinkExtractor()链接提取器
LinkExtractor()接受response对象,并根据allow对应的正则表达式提取响应对象中的链接

link = LinkExtractor(
# Items只能是一个正则表达式,会提取当前页面中满足该"正则表达式"的url	
  allow=r'Items/'
)

rules = (Rule(link, callback='parse_item', follow=True),)规则解析器
按照指定规则从链接提取器中提取到的链接中解析网页数据
link:是一个LinkExtractor()对象,指定链接提取器
callback:回调函数,指定规则解析器(解析方法)解析数据
follow:是否将链接提取器继续作用到链接提取器提取出的链接网页

import scrapy
# 导入相关的包
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule

class TextSpider(CrawlSpider):
 name = 'text'
 allowed_domains = ['www.xxx.com']
 start_urls = ['http://www.xxx.com/']

# 链接提取器,从接受到的response对象中,根据item正则表达式提取页面中的链接
	link = LinkExtractor(allow=r'Items/')
	link2 = LinkExtractor(allow=r'Items/')
# 规则解析器,根据callback将链接提取器提取到的链接进行数据解析
# follow为true,则表示将链接提取器继续作用到链接提取器所提取到的链接页面中
# 故:在我们提取多页数据时,若第一页对应的网页中包含了第2,3,4,5页的链接,
# 当跳转到第5页时,第5页又包含了第6,7,8,9页的链接,
# 令follow=True,就可以持续作用,从而提取到所有页面的链接
 rules = (Rule(link, callback='parse_item', follow=True),
 		Rule(link2,callback='parse_content',follow=False))
 # 链接提取器link使用parse_item解析数据
	def parse_item(self, response):
 item = {}
 
 yield item
 # 链接提取器link2使用parse_content解析数据
	def parse_content(self, response):
		item = {}
		
		yield item

1.2.2 使用

创建爬虫文件:除了创建爬虫文件不同外,创建项目和运行爬虫使用的命令和基于Spider类使用的命令相同

scrapy genspider crawl -t spiderName www.xxx.com

二、案例:古诗文网全站数据爬取

爬取古诗文网首页古诗的标题,以及每一首诗详情页古诗的标题和内容。
最后将从详情页提取到的古诗标题和内容进行持久化存储

2.1 爬虫文件

import scrapy
from scrapy.linkextractors import LinkExtractor

from scrapy.spiders import CrawlSpider, Rule
from gushiPro.items import GushiproItem,ContentItem

class GushiSpider(CrawlSpider):
 name = 'gushi'
 #allowed_domains = ['www.xxx.com']
 start_urls = ['https://www.gushiwen.org/']

 # 链接提取器:只能使用正则表达式,提取当前页面的满足allow条件的链接
 link = LinkExtractor(allow=r'/default_\d+\.aspx')

 # 链接提取器,提取所有标题对应的详情页url
 content_link = LinkExtractor(allow=r'cn/shiwenv_\w+\.aspx')
 rules = (
 # 规则解析器,需要解析所有的页面,所有follow=True
 Rule(link, callback='parse_item', follow=True),

 # 不需要写follow,因为我们只需要解析详情页中的数据,而不是详情页中的url
 Rule(content_link, callback='content_item'),
 )

 # 解析当前页面的标题
 def parse_item(self, response):
 p_list = response.xpath('//div[@class="sons"]/div[1]/p[1]')

 for p in p_list:
 title = p.xpath('./a//text()').extract_first()
 item = GushiproItem()
 item['title'] = title
 yield item
 
 # 解析详情页面的标题和内容
 def content_item(self,response):
 # //div[@id="sonsyuanwen"]/div[@class="cont"]/div[@class="contson"]
 # 解析详情页面的内容
 content = response.xpath('//div[@id="sonsyuanwen"]/div[@class="cont"]/div[@class="contson"]//text()').extract()
 content = "".join(content)
 # # 解析详情页面的标题
 title = response.xpath('//div[@id="sonsyuanwen"]/div[@class="cont"]/h1/text()').extract_first()
 # print("title:"+title+"\ncontent:"+content)
 item = ContentItem()
 item["content"] = content
 item["title"] = title
 # 将itme对象传给管道
 yield item

2.2 item文件

import scrapy

# 不同的item类是独立的,他们可以创建不同的item对象
class GushiproItem(scrapy.Item):
 # define the fields for your item here like:
 # name = scrapy.Field()
 title = scrapy.Field()

class ContentItem(scrapy.Item):
 title = scrapy.Field()
 content = scrapy.Field()

2.3 管道文件

from itemadapter import ItemAdapter

class GushiproPipeline:
 def __init__(self):
 self.fp = None

 def open_spider(self,spider):
 self.fp = open("gushi.txt",'w',encoding='utf-8')
 print("开始爬虫")

 def process_item(self, item, spider):
 # 从详情页获取标题和内容,所以需要判断爬虫文件中传来的item是什么类的item
 # item.__class__.__name__判断属于什么类型的item
 if item.__class__.__name__ == "ContentItem":
 content = "《"+item['title']+"》",item['content']
 content = "".join(content) 
 print(content)
 self.fp.write(content)
 return item

 def close_spider(self,spider):
 self.fp.close()
 print("结束爬虫")

2.4 配置文件

python爬虫scrapy基于CrawlSpider类的全站数据爬取示例解析

2.5 输出结果

python爬虫scrapy基于CrawlSpider类的全站数据爬取示例解析

到此这篇关于python爬虫scrapy基于CrawlSpider类的全站数据爬取示例解析的文章就介绍到这了,更多相关python爬虫scrapy数据爬取内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python脚本实现网卡流量监控
Feb 14 Python
利用Python在一个文件的头部插入数据的实例
May 02 Python
基于pandas将类别属性转化为数值属性的方法
Jul 25 Python
对pandas里的loc并列条件索引的实例讲解
Nov 15 Python
在pycharm上mongodb配置及可视化设置方法
Nov 30 Python
python 实现图片上传接口开发 并生成可以访问的图片url
Dec 18 Python
Python3 解决读取中文文件txt编码的问题
Dec 20 Python
Python如何存储数据到json文件
Mar 09 Python
Python中return函数返回值实例用法
Nov 19 Python
python生成可执行exe控制Microsip自动填写号码并拨打功能
Jun 21 Python
python读取mnist数据集方法案例详解
Sep 04 Python
python创建字典及相关管理操作
Apr 13 Python
TensorFlow的环境配置与安装方法
Feb 20 #Python
python爬虫爬取某网站视频的示例代码
Feb 20 #Python
python爬虫线程池案例详解(梨视频短视频爬取)
Feb 20 #Python
python爬虫scrapy框架的梨视频案例解析
Feb 20 #Python
Keras保存模型并载入模型继续训练的实现
Feb 20 #Python
TensorFlow2.0使用keras训练模型的实现
Feb 20 #Python
tensorflow2.0教程之Keras快速入门
Feb 20 #Python
You might like
PHP的FTP学习(二)
2006/10/09 PHP
php文件上传的简单实例
2013/10/19 PHP
PHP使用MPDF类生成PDF的方法
2015/12/08 PHP
PHP implode()函数用法讲解
2019/03/08 PHP
JS控制表格隔行变色
2006/06/26 Javascript
javascript权威指南 学习笔记之null和undefined
2011/09/25 Javascript
通过JavaScript控制字体大小的代码
2011/10/04 Javascript
js取两个数组的交集|差集|并集|补集|去重示例代码
2013/08/07 Javascript
使用phantomjs进行网页抓取的实现代码
2014/09/29 Javascript
BAT及各大互联网公司2014前端笔试面试题--JavaScript篇
2014/10/29 Javascript
jQuery函数map()和each()介绍及异同点分析
2014/11/08 Javascript
jQuery EasyUI Dialog拖不下来如何解决
2015/09/28 Javascript
JavaScript实现数据类型的相互转换
2016/03/06 Javascript
JS实现登录页面记住密码和enter键登录方法推荐
2016/05/10 Javascript
bootstrap 下拉多选框进行多选传值问题代码分析
2017/02/14 Javascript
Vue键盘事件用法总结
2017/04/18 Javascript
vue项目中使用axios上传图片等文件操作
2017/11/02 Javascript
Vue-Router2.X多种路由实现方式总结
2018/02/09 Javascript
jsonp跨域获取数据的基础教程
2018/07/01 Javascript
Vue.js上传图片到阿里云OSS存储的方法示例
2018/12/13 Javascript
javascript实现的时间格式加8小时功能示例
2019/06/13 Javascript
Python isinstance判断对象类型
2008/09/06 Python
python通过shutil实现快速文件复制的方法
2015/03/14 Python
Python使用os模块和fileinput模块来操作文件目录
2016/01/19 Python
python 中random模块的常用方法总结
2017/07/08 Python
Python模拟三级菜单效果
2017/09/11 Python
numpy库与pandas库axis=0,axis= 1轴的用法详解
2019/05/27 Python
英国精品买手店:Browns Fashion
2016/09/29 全球购物
serialVersionUID具有什么样的特征
2014/02/20 面试题
数据管理员的自我评价分享
2013/11/15 职场文书
关于迟到的检讨书
2014/01/26 职场文书
自我鉴定 电子商务专业
2014/01/30 职场文书
餐饮总经理岗位职责
2014/03/07 职场文书
小学一年级学生评语
2014/04/22 职场文书
计算机系本科生求职信
2014/05/31 职场文书
社区结对共建协议书
2016/03/23 职场文书