Python爬虫框架Scrapy常用命令总结


Posted in Python onJuly 26, 2018

本文实例讲述了Python爬虫框架Scrapy常用命令。分享给大家供大家参考,具体如下:

在Scrapy中,工具命令分为两种,一种为全局命令,一种为项目命令

全局命令不需要依靠Scrapy项目就可以在全局中直接运行,而项目命令必须要在Scrapy项目中才可以运行

全局命令

全局命令有哪些呢,要想了解在Scrapy中有哪些全局命令,可以在不进入Scrapy项目所在目录的情况下,运行scrapy-h,如图所示:

Python爬虫框架Scrapy常用命令总结

可以看到,此时在可用命令在终端下展示出了常见的全局命令,分别为fetchrunspidersettingsshellstartprojectversionview

fetch命令

fetch命令主要用来显示爬虫爬取的过程.如下图所示:

Python爬虫框架Scrapy常用命令总结

在使用fetch命令时,同样可以使用某些参数进行相应的控制。那么fetch有哪些相关参数可以使用呢?我们可以通过scrpy fetch -h列出所有可以使用的fetch相关参数。比如我们可以使用?headers显示头信息,也可以使用?nolog控制不显示日志信息,还可以使用?spider=SPIDER参数来控制使用哪个爬虫,通过?logfile=FILE指定存储日志信息的文件,通过?loglevel=LEVEL控制日志等级。举个栗子:

# 显示头信息,并且不显示日志信息
scrpay -fetch --headers --nolog http://www.baidu.com

sunspider命令

通过runspider命令可以不依托scrapy的爬虫项目,直接运行一个爬虫文件

# first.py为自定义的一个爬虫文件
scrapy runspider first.py

settings命令

在scrapy项目所在的目录中使用settings命令查看的使用对应的项目配置信息,如果在scrapy项目所在的目录外使用settings命令查看的Scrapy默认的配置信息

# 在项目中使用此命令打印的为BOT_NAME对应的值,即scrapy项目名称。
# 在项目外使用此命令打印的为scrapybot
scrapy settings --get BOT_NAME

shell命令

通过shell命令可以启动Scrapy的交互终端。

Scrapy的交互终端经常在开发以及调试的时候用到,使用Scrapy的交互终端可以实现在不启动Scrapy爬虫的情况下,对网站响应进行调试,同样,在该交互终端下,我们也可以写一些Python代码进行相应测试。

Python爬虫框架Scrapy常用命令总结

>>>后面可以输入交互命令以及相应的代码

startproject命令

用于创建scrapy项目

version命令

查看scrapy版本

view命令

用于下载某个网页,然后通过浏览器查看

项目命令

bench命令

测试本地硬件的性能

scrapy bench

genspider命令

用于创建爬虫文件,这是一种快速创建爬虫文件的方式。

# scrpay genspider -t 基本格式
# basic 模板
# baidu.com 爬取的域名
scrapy genspider -t basic xxx baidu.com

此时在spider文件夹下会生成一个以xxx命名的py文件。可以使用scrapy genspider -l查看所有可用爬虫模板。当前可用的爬虫模板有:basiccrawlcsvfeedxmlfeed

check命令

使用check命令可以实现对某个爬虫文件进行合同检查,即测试.

# xxx为爬虫名
scrapy check xxx

crawl命令

启动某个爬虫

# xxx为爬虫名
scrapy crawl xxx

list命令

列出当前可使用的爬虫文件

scrapy list

edit命令

编辑爬虫文件

scrapy edit xxx

parse命令

通过parse命令,我们可以实现获取指定的URL网址,并使用对应的爬虫文件进行处理和分析

日志等级

等级名 含义
CRITICAL 发生了最严重的错误
ERROR 发生了必须立即处理的错误
WARNING 出现了一些警告信息,即存在潜在错误
INFO 输出一些提示显示
DEBUG 输出一些调试信息

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python 字符串split的用法分享
Mar 23 Python
python中dir函数用法分析
Apr 17 Python
Python 迭代器与生成器实例详解
May 18 Python
Windows下Anaconda的安装和简单使用方法
Jan 04 Python
小米5s微信跳一跳小程序python源码
Jan 08 Python
selenium + python 获取table数据的示例讲解
Oct 13 Python
python utc datetime转换为时间戳的方法
Jan 15 Python
python实现PDF中表格转化为Excel的方法
Jun 16 Python
Pytho爬虫中Requests设置请求头Headers的方法
Sep 22 Python
numpy数据类型dtype转换实现
Apr 24 Python
python opencv检测直线 cv2.HoughLinesP的实现
Jun 18 Python
详解Golang如何实现支持随机删除元素的堆
Sep 23 Python
Python退火算法在高次方程的应用
Jul 26 #Python
Python爬虫框架Scrapy基本用法入门教程
Jul 26 #Python
Tensorflow 合并通道及加载子模型的方法
Jul 26 #Python
解决tensorflow测试模型时NotFoundError错误的问题
Jul 26 #Python
tensorflow 恢复指定层与不同层指定不同学习率的方法
Jul 26 #Python
kaggle+mnist实现手写字体识别
Jul 26 #Python
解决tensorflow模型参数保存和加载的问题
Jul 26 #Python
You might like
PHP实现抓取HTTPS内容
2014/12/01 PHP
PHP实现指定字段的多维数组排序函数分享
2015/03/09 PHP
PHP输出一个等腰三角形的方法
2015/05/12 PHP
THINKPHP-Apache服务器中使用Alias虚拟目录URL重写 隐藏index.php
2021/03/09 PHP
关于javascript document.createDocumentFragment()
2009/04/04 Javascript
json2.js的初步学习与了解
2011/10/06 Javascript
JavaScript高级程序设计阅读笔记(六) ECMAScript中的运算符(二)
2012/02/27 Javascript
jquery动态添加元素事件失效问题解决方法
2014/05/23 Javascript
jQuery中noConflict()用法实例分析
2015/02/08 Javascript
jQuery实现鼠标经过时出现隐藏层文字链接的方法
2015/10/12 Javascript
很棒的js Tab选项卡切换效果
2016/08/30 Javascript
jquery插件ContextMenu设置右键菜单
2017/03/13 Javascript
在Vue中使用Compass的方法
2018/03/02 Javascript
浅谈一种让小程序支持JSX语法的新思路
2019/06/16 Javascript
vue npm install 安装某个指定的版本操作
2020/08/11 Javascript
Pycharm学习教程(5) Python快捷键相关设置
2017/05/03 Python
Python 元类实例解析
2018/04/04 Python
详解Python下ftp上传文件linux服务器
2018/06/21 Python
Python实用工具FuckIt.py介绍
2019/07/02 Python
Python 安装 virturalenv 虚拟环境的教程详解
2020/02/21 Python
Python实现在线批量美颜功能过程解析
2020/06/10 Python
Python 实现二叉查找树的示例代码
2020/12/21 Python
python基于openpyxl生成excel文件
2020/12/23 Python
哈利波特商店:Harry Potter Shop
2018/11/30 全球购物
Ellesse英国官网:意大利高级运动品牌
2019/07/23 全球购物
社区工作感言
2014/02/21 职场文书
求职简历自我评价范例
2014/03/12 职场文书
安全生产月演讲稿
2014/05/09 职场文书
初中班主任经验交流材料
2014/05/16 职场文书
篮球社团活动总结
2014/06/27 职场文书
协商一致解除劳动合同协议书
2014/09/14 职场文书
2014年教师教学工作总结
2014/11/08 职场文书
困难补助申请报告
2015/05/19 职场文书
党员学习型组织心得体会
2019/06/21 职场文书
tensorflow中的梯度求解及梯度裁剪操作
2021/05/26 Python
SSM项目使用拦截器实现登录验证功能
2022/01/22 Java/Android