Python爬虫基础之初次使用scrapy爬虫实例


Posted in Python onJune 26, 2021

项目需求

在专门供爬虫初学者训练爬虫技术的网站(http://quotes.toscrape.com)上爬取名言警句。

创建项目

在开始爬取之前,必须创建一个新的Scrapy项目。进入您打算存储代码的目录中,运行下列命令:

(base) λ scrapy startproject quotes
New scrapy project 'quotes ', using template directory 'd: \anaconda3\lib\site-packages\scrapy\temp1ates\project ', created in:
    D:\XXX
You can start your first spider with :
    cd quotes
    scrapy genspider example example. com

首先切换到新建的爬虫项目目录下,也就是/quotes目录下。然后执行创建爬虫文件的命令:

D:\XXX(master)
(base) λ cd quotes\
  
D:\XXX\quotes (master)
(base) λ scrapy genspider quotes quotes.com
cannot create a spider with the same name as your project
 
D :\XXX\quotes (master)
(base) λ scrapy genspider quote quotes.com
created spider 'quote' using template 'basic' in module:quotes.spiders.quote

该命令将会创建包含下列内容的quotes目录:

Python爬虫基础之初次使用scrapy爬虫实例

robots.txt

robots协议也叫robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的网络蜘蛛,此网站中的哪些内容是不应被搜索引擎的爬虫获取的,哪些是可以被爬虫获取的。

robots协议并不是一个规范,而只是约定俗成的。

#filename : settings.py
#obey robots.txt rules
ROBOTSTXT__OBEY = False

分析页面

编写爬虫程序之前,首先需要对待爬取的页面进行分析,主流的浏览器中都带有分析页面的工具或插件,这里我们选用Chrome浏览器的开发者工具(Tools→Developer tools)分析页面。

数据信息

在Chrome浏览器中打开页面http://lquotes.toscrape.com,然后选择"Elements",查看其HTML代码。

可以看到每一个标签都包裹在

Python爬虫基础之初次使用scrapy爬虫实例

编写spider

分析完页面后,接下来编写爬虫。在Scrapy中编写一个爬虫, 在scrapy.Spider中编写代码Spider是用户编写用于从单个网站(或者-些网站)爬取数据的类。

其包含了-个用于下载的初始URL,如何跟进网页中的链接以及如何分析页面中的内容,提取生成item的方法。

为了创建一个Spider, 您必须继承scrapy.Spider类,且定义以下三个属性:

  • name:用于区别Spider。该名字必须是唯一-的, 您不可以为不同的Spider设定相同的名字。
  • start _urls:包含了Spider在启动时进行爬取的ur列表。因此, 第一个被获取到的页面将是其中之一。后续的URL则从初始的URL获取到的数据中提取。
  • parse():是spider的一一个方法。被调用时,每个初始URL完成下载后生成的Response对象将会作为唯一的参数传递给该函数。该方法负责解析返回的数据(response data),提取数据(生成item)以及生成需要进一步处理的URL 的Request对象。
import scrapy
 
class QuoteSpi der(scrapy . Spider):
    name ='quote'
    allowed_ domains = [' quotes. com ']
    start_ urls = ['http://quotes . toscrape . com/']
    
    def parse(self, response) :
        pass

下面对quote的实现做简单说明。

  • scrapy.spider :爬虫基类,每个其他的spider必须继承自该类(包括Scrapy自带的其他spider以及您自己编写的spider)。
  • name是爬虫的名字,是在genspider的时候指定的。
  • allowed_domains是爬虫能抓取的域名,爬虫只能在这个域名下抓取网页,可以不写。
  • start_ur1s是Scrapy抓取的网站,是可迭代类型,当然如果有多个网页,列表中写入多个网址即可,常用列表推导式的形式。
  • parse称为回调函数,该方法中的response就是start_urls 网址发出请求后得到的响应。当然也可以指定其他函数来接收响应。一个页面解析函数通常需要完成以下两个任务:

1.提取页面中的数据(re、XPath、CSS选择器)
2.提取页面中的链接,并产生对链接页面的下载请求。
页面解析函数通常被实现成一个生成器函数,每一项从页面中提取的数据以及每一个对链接页面的下载请求都由yield语句提交给Scrapy引擎。

解析数据

import scrapy
 
def parse(se1f,response) :
    quotes = response.css('.quote ')
    for quote in quotes:
        text = quote.css( '.text: :text ' ).extract_first()
        auth = quote.css( '.author : :text ' ).extract_first()
        tages = quote.css('.tags a: :text' ).extract()
        yield dict(text=text,auth=auth,tages=tages)

重点:

  • response.css(直接使用css语法即可提取响应中的数据。
  • start_ur1s 中可以写多个网址,以列表格式分割开即可。
  • extract()是提取css对象中的数据,提取出来以后是列表,否则是个对象。并且对于
  • extract_first()是提取第一个

运行爬虫

在/quotes目录下运行scrapycrawlquotes即可运行爬虫项目。
运行爬虫之后发生了什么?

Scrapy为Spider的start_urls属性中的每个URL创建了scrapy.Request对象,并将parse方法作为回调函数(callback)赋值给了Request。

Request对象经过调度,执行生成scrapy.http.Response对象并送回给spider parse()方法进行处理。

完成代码后,运行爬虫爬取数据,在shell中执行scrapy crawl <SPIDER_NAME>命令运行爬虫'quote',并将爬取的数据存储到csv文件中:

(base) λ scrapy craw1 quote -o quotes.csv
2021-06-19 20:48:44 [scrapy.utils.log] INF0: Scrapy 1.8.0 started (bot: quotes)

等待爬虫运行结束后,就会在当前目录下生成一个quotes.csv的文件,里面的数据已csv格式存放。

-o支持保存为多种格式。保存方式也非常简单,只要给上文件的后缀名就可以了。(csv、json、pickle等)

到此这篇关于Python爬虫基础之初次使用scrapy爬虫实例的文章就介绍到这了,更多相关Python scrapy框架内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
在Python中操作字符串之replace()方法的使用
May 19 Python
Python编写简单的HTML页面合并脚本
Jul 11 Python
Python3如何解决字符编码问题详解
Apr 23 Python
Python读取和处理文件后缀为.sqlite的数据文件(实例讲解)
Jun 27 Python
python3+PyQt5实现自定义窗口部件Counters
Apr 20 Python
python for循环输入一个矩阵的实例
Nov 14 Python
详解python调用cmd命令三种方法
Jul 08 Python
python实现对图片进行旋转,放缩,裁剪的功能
Aug 07 Python
Python 读取有公式cell的结果内容实例方法
Feb 17 Python
python时间序列数据转为timestamp格式的方法
Aug 03 Python
Python脚本调试工具安装过程
Jan 11 Python
浅谈Python列表嵌套字典转化的问题
Apr 07 Python
Python上下文管理器Content Manager
Jun 26 #Python
仅用几行Python代码就能复制她的U盘文件?
总结几个非常实用的Python库
Jun 26 #Python
手残删除python之后的补救方法
Python办公自动化之教你用Python批量识别发票并录入到Excel表格中
Python Pandas模块实现数据的统计分析的方法
Jun 24 #Python
FP-growth算法发现频繁项集——发现频繁项集
You might like
PHP数字格式化
2006/12/06 PHP
PHP的error_reporting错误级别变量对照表
2014/07/08 PHP
PHP封装的多文件上传类实例与用法详解
2017/02/07 PHP
PHP中localeconv()函数的用法
2019/03/26 PHP
TNC vs BOOM BO3 第三场2.13
2021/03/10 DOTA
完整显示当前日期和时间的JS代码
2007/09/17 Javascript
jquery操作 iframe的方法
2014/12/03 Javascript
javascript中HTMLDOM操作详解
2014/12/11 Javascript
js实现同一页面可多次调用的图片幻灯切换效果
2015/02/28 Javascript
JQuery中DOM加载与事件执行实例分析
2015/06/13 Javascript
简单谈谈Javascript中类型的判断
2015/10/19 Javascript
javascript实现的网站访问量统计代码
2015/12/20 Javascript
JS实现加载时锁定HTML页面元素的方法
2017/06/24 Javascript
AngularJS中table表格基本操作示例
2017/10/10 Javascript
浅谈vue项目可以从哪些方面进行优化
2018/05/05 Javascript
vue代理和跨域问题的解决
2018/07/18 Javascript
详解vue移动端项目代码拆分记录
2019/03/15 Javascript
js DOM的事件常见操作实例详解
2019/12/16 Javascript
[00:36]DOTA2风云人物相约完美“圣”典 12月17日不见不散
2016/11/30 DOTA
KMP算法精解及其Python版的代码示例
2016/06/01 Python
Python使用Selenium+BeautifulSoup爬取淘宝搜索页
2018/02/24 Python
解决python3 安装不了PIL的问题
2019/08/16 Python
python3.7通过thrift操作hbase的示例代码
2020/01/14 Python
python UDF 实现对csv批量md5加密操作
2021/01/01 Python
前端面试必备之html5的新特性
2017/09/05 HTML / CSS
HTML5进度条特效
2014/12/18 HTML / CSS
关于HTML5语义标签的实践(blog页面)
2016/07/12 HTML / CSS
北美最大的手工艺品零售商之一:Michaels Stores
2019/02/27 全球购物
主持人演讲稿范文
2013/12/28 职场文书
给酒店员工的表扬信
2014/01/11 职场文书
电视购物广告词
2014/03/19 职场文书
2014年庆祝国庆65周年演讲稿
2014/09/21 职场文书
小学重阳节活动总结
2015/03/24 职场文书
张丽莉观后感
2015/06/16 职场文书
ztree+ajax实现文件树下载功能
2021/05/18 Javascript
Springboot集成kafka高级应用实战分享
2022/08/14 Java/Android