Python爬虫基础之初次使用scrapy爬虫实例


Posted in Python onJune 26, 2021

项目需求

在专门供爬虫初学者训练爬虫技术的网站(http://quotes.toscrape.com)上爬取名言警句。

创建项目

在开始爬取之前,必须创建一个新的Scrapy项目。进入您打算存储代码的目录中,运行下列命令:

(base) λ scrapy startproject quotes
New scrapy project 'quotes ', using template directory 'd: \anaconda3\lib\site-packages\scrapy\temp1ates\project ', created in:
    D:\XXX
You can start your first spider with :
    cd quotes
    scrapy genspider example example. com

首先切换到新建的爬虫项目目录下,也就是/quotes目录下。然后执行创建爬虫文件的命令:

D:\XXX(master)
(base) λ cd quotes\
  
D:\XXX\quotes (master)
(base) λ scrapy genspider quotes quotes.com
cannot create a spider with the same name as your project
 
D :\XXX\quotes (master)
(base) λ scrapy genspider quote quotes.com
created spider 'quote' using template 'basic' in module:quotes.spiders.quote

该命令将会创建包含下列内容的quotes目录:

Python爬虫基础之初次使用scrapy爬虫实例

robots.txt

robots协议也叫robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的网络蜘蛛,此网站中的哪些内容是不应被搜索引擎的爬虫获取的,哪些是可以被爬虫获取的。

robots协议并不是一个规范,而只是约定俗成的。

#filename : settings.py
#obey robots.txt rules
ROBOTSTXT__OBEY = False

分析页面

编写爬虫程序之前,首先需要对待爬取的页面进行分析,主流的浏览器中都带有分析页面的工具或插件,这里我们选用Chrome浏览器的开发者工具(Tools→Developer tools)分析页面。

数据信息

在Chrome浏览器中打开页面http://lquotes.toscrape.com,然后选择"Elements",查看其HTML代码。

可以看到每一个标签都包裹在

Python爬虫基础之初次使用scrapy爬虫实例

编写spider

分析完页面后,接下来编写爬虫。在Scrapy中编写一个爬虫, 在scrapy.Spider中编写代码Spider是用户编写用于从单个网站(或者-些网站)爬取数据的类。

其包含了-个用于下载的初始URL,如何跟进网页中的链接以及如何分析页面中的内容,提取生成item的方法。

为了创建一个Spider, 您必须继承scrapy.Spider类,且定义以下三个属性:

  • name:用于区别Spider。该名字必须是唯一-的, 您不可以为不同的Spider设定相同的名字。
  • start _urls:包含了Spider在启动时进行爬取的ur列表。因此, 第一个被获取到的页面将是其中之一。后续的URL则从初始的URL获取到的数据中提取。
  • parse():是spider的一一个方法。被调用时,每个初始URL完成下载后生成的Response对象将会作为唯一的参数传递给该函数。该方法负责解析返回的数据(response data),提取数据(生成item)以及生成需要进一步处理的URL 的Request对象。
import scrapy
 
class QuoteSpi der(scrapy . Spider):
    name ='quote'
    allowed_ domains = [' quotes. com ']
    start_ urls = ['http://quotes . toscrape . com/']
    
    def parse(self, response) :
        pass

下面对quote的实现做简单说明。

  • scrapy.spider :爬虫基类,每个其他的spider必须继承自该类(包括Scrapy自带的其他spider以及您自己编写的spider)。
  • name是爬虫的名字,是在genspider的时候指定的。
  • allowed_domains是爬虫能抓取的域名,爬虫只能在这个域名下抓取网页,可以不写。
  • start_ur1s是Scrapy抓取的网站,是可迭代类型,当然如果有多个网页,列表中写入多个网址即可,常用列表推导式的形式。
  • parse称为回调函数,该方法中的response就是start_urls 网址发出请求后得到的响应。当然也可以指定其他函数来接收响应。一个页面解析函数通常需要完成以下两个任务:

1.提取页面中的数据(re、XPath、CSS选择器)
2.提取页面中的链接,并产生对链接页面的下载请求。
页面解析函数通常被实现成一个生成器函数,每一项从页面中提取的数据以及每一个对链接页面的下载请求都由yield语句提交给Scrapy引擎。

解析数据

import scrapy
 
def parse(se1f,response) :
    quotes = response.css('.quote ')
    for quote in quotes:
        text = quote.css( '.text: :text ' ).extract_first()
        auth = quote.css( '.author : :text ' ).extract_first()
        tages = quote.css('.tags a: :text' ).extract()
        yield dict(text=text,auth=auth,tages=tages)

重点:

  • response.css(直接使用css语法即可提取响应中的数据。
  • start_ur1s 中可以写多个网址,以列表格式分割开即可。
  • extract()是提取css对象中的数据,提取出来以后是列表,否则是个对象。并且对于
  • extract_first()是提取第一个

运行爬虫

在/quotes目录下运行scrapycrawlquotes即可运行爬虫项目。
运行爬虫之后发生了什么?

Scrapy为Spider的start_urls属性中的每个URL创建了scrapy.Request对象,并将parse方法作为回调函数(callback)赋值给了Request。

Request对象经过调度,执行生成scrapy.http.Response对象并送回给spider parse()方法进行处理。

完成代码后,运行爬虫爬取数据,在shell中执行scrapy crawl <SPIDER_NAME>命令运行爬虫'quote',并将爬取的数据存储到csv文件中:

(base) λ scrapy craw1 quote -o quotes.csv
2021-06-19 20:48:44 [scrapy.utils.log] INF0: Scrapy 1.8.0 started (bot: quotes)

等待爬虫运行结束后,就会在当前目录下生成一个quotes.csv的文件,里面的数据已csv格式存放。

-o支持保存为多种格式。保存方式也非常简单,只要给上文件的后缀名就可以了。(csv、json、pickle等)

到此这篇关于Python爬虫基础之初次使用scrapy爬虫实例的文章就介绍到这了,更多相关Python scrapy框架内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python 从远程服务器下载日志文件的程序
Feb 10 Python
在Django的视图中使用数据库查询的方法
Jul 16 Python
Python+matplotlib实现华丽的文本框演示代码
Jan 22 Python
理论讲解python多进程并发编程
Feb 09 Python
numpy.linspace 生成等差数组的方法
Jul 02 Python
对pandas数据判断是否为NaN值的方法详解
Nov 06 Python
pytorch中使用cuda扩展的实现示例
Feb 12 Python
Django User 模块之 AbstractUser 扩展详解
Mar 11 Python
利用Python将图片中扭曲矩形的复原
Sep 07 Python
Django修改app名称和数据表迁移方案实现
Sep 17 Python
python实现简单贪吃蛇游戏
Sep 29 Python
Python os和os.path模块详情
Apr 02 Python
Python上下文管理器Content Manager
Jun 26 #Python
仅用几行Python代码就能复制她的U盘文件?
总结几个非常实用的Python库
Jun 26 #Python
手残删除python之后的补救方法
Python办公自动化之教你用Python批量识别发票并录入到Excel表格中
Python Pandas模块实现数据的统计分析的方法
Jun 24 #Python
FP-growth算法发现频繁项集——发现频繁项集
You might like
推荐25款php中非常有用的类库
2014/09/29 PHP
人脸识别测颜值、测脸龄、测相似度微信接口
2016/04/07 PHP
Yii2框架数据验证操作实例详解
2018/05/02 PHP
PHP堆栈调试操作简单示例
2018/06/15 PHP
实例分析10个PHP常见安全问题
2019/07/09 PHP
JavaScript 设计模式学习 Singleton
2009/07/27 Javascript
什么是cookie?js手动创建和存储cookie
2014/05/27 Javascript
window.setInterval()方法的定义和用法及offsetLeft与style.left的区别
2015/11/11 Javascript
微信小程序去哪里找 小程序到底如何使用(附小程序名单)
2017/01/09 Javascript
Angularjs实现搜索关键字高亮显示效果
2017/01/17 Javascript
JQuery 封装 Ajax 常用方法(推荐)
2017/05/21 jQuery
详解使用Visual Studio Code对Node.js进行断点调试
2017/09/14 Javascript
JS实现的排列组合算法示例
2019/07/16 Javascript
微信小程序中使用 async/await的方法实例分析
2020/05/06 Javascript
python脚本实现统计日志文件中的ip访问次数代码分享
2014/08/06 Python
python连接远程ftp服务器并列出目录下文件的方法
2015/04/01 Python
使用python实现rsa算法代码
2016/02/17 Python
Python中django学习心得
2017/12/06 Python
对python 矩阵转置transpose的实例讲解
2018/04/17 Python
python 3.7.0 安装配置方法图文教程
2018/08/27 Python
详解Python中的format格式化函数的使用方法
2019/11/20 Python
python主要用于哪些方向
2020/07/05 Python
Python判断字符串是否为合法标示符操作
2020/09/03 Python
python3.8.3安装教程及环境配置的详细教程(64-bit)
2020/11/28 Python
Html5页面在微信端的分享的实现方法
2018/08/30 HTML / CSS
举例详解HTML5中使用JSON格式提交表单
2015/06/16 HTML / CSS
介绍一下except的用法和作用
2015/01/22 面试题
个人求职信范文分享
2014/01/06 职场文书
什么样的创业计划书可行性高?
2014/02/01 职场文书
大学生党员自我评价范文
2014/04/09 职场文书
旷工辞退通知书
2015/04/17 职场文书
《窃读记》教学反思
2016/02/18 职场文书
Python OpenCV快速入门教程
2021/04/17 Python
利用 Python 的 Pandas和 NumPy 库来清理数据
2022/04/13 Python
MySQL 数据表操作
2022/05/04 MySQL
js判断两个数组相等的5种方法
2022/05/06 Javascript