编程 Python

Python使用Scrapy保存控制台信息到文本解析

Posted in Python onDecember 27, 2017

在Windows平台下，如果想运行爬虫的话，就需要在cmd中输入：

scrapy crawl spider_name

这时，爬虫就能启动，并在控制台（cmd）中打印一些信息，如下图所示：

但是，cmd中默认只能显示几屏的信息，其他的信息就无法看到。

如果我们想查看爬虫在运行过程中的调试信息或错误信息的话，会很不方便。

此时，我们就可以将控制台的信息写入的一个文本文件中去，方便我们查看。

命令如下:

D:\>scrapy crawl spder_name -s LOG_FILE=scrapy.log

总结

以上就是本文关于Python使用Scrapy保存控制台信息到文本解析的全部内容，希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题，如有不足之处，欢迎留言指出。感谢朋友们对本站的支持！

Python使用Scrapy保存控制台信息到文本解析

- Author -

曾是土木人

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

Python爬虫框架Scrapy安装使用步骤

Apr 01 Python

Python使用新浪微博API发送微博的例子

Apr 10 Python

python re正则表达式模块(Regular Expression)

Jul 16 Python

Python实现向服务器请求压缩数据及解压缩数据的方法示例

Jun 09 Python

Python解析Excle文件中的数据方法

Oct 23 Python

Appium+python自动化怎么查看程序所占端口号和IP

Jun 14 Python

Python基础学习之类与实例基本用法与注意事项详解

Jun 17 Python

Python基于Opencv来快速实现人脸识别过程详解（完整版）

Jul 11 Python

python Django 反向访问器的外键冲突解决

May 20 Python

pyCharm 设置调试输出窗口中文显示方式(字符码转换)

Jun 09 Python

利用python调用摄像头的实例分析

Jun 07 Python

Python干货实战之八音符酱小游戏全过程详解

Oct 24 Python

Python简单生成随机姓名的方法示例

Dec 27 #Python

ubuntu中配置pyqt4环境教程

Dec 27 #Python

Python中Threading用法详解

Dec 27 #Python

SVM基本概念及Python实现代码

Dec 27 #Python

Python自定义函数定义,参数,调用代码解析

Dec 27 #Python

详解用Python处理HTML转义字符的5种方式

Dec 27 #Python

Python中使用支持向量机(SVM)算法

Dec 26 #Python

You might like

一个多文件上传的例子(原创)

2006/10/09 PHP

php防止恶意刷新与刷票的方法

2014/11/21 PHP

PHP7之Mongodb API使用详解

2015/12/26 PHP

php 遍历目录，生成目录下每个文件的md5值并写入到结果文件中

2016/12/12 PHP

浅谈PHP SHA1withRSA加密生成签名及验签

2019/03/18 PHP

超轻量级的基于jquery的三级展开列表

2011/04/26 Javascript

js 取时间差去掉周六周日实现代码

2012/12/25 Javascript

javascript中match函数的用法小结

2014/02/08 Javascript

把jQuery的类、插件封装成seajs的模块的方法

2014/03/12 Javascript

jquery带动画效果幻灯片特效代码

2015/08/27 Javascript

JS实现密码框根据焦点的获取与失去控制文字的消失与显示效果

2015/11/26 Javascript

JavaScript入门系列之知识点总结

2016/03/24 Javascript

window.close(); 关闭浏览器窗口js代码的总结介绍

2016/07/14 Javascript

angularjs 中$apply，$digest，$watch详解

2016/10/13 Javascript

纯JS打造网页中checkbox和radio的美化效果

2016/10/13 Javascript

AngularJS解决ng界面长表达式(ui-set)的方法分析

2016/11/07 Javascript

jQuery基于正则表达式的表单验证功能示例

2017/01/21 Javascript

详解Node.js项目APM监控之New Relic

2017/05/12 Javascript

JS实现的缓冲运动效果示例

2018/04/30 Javascript

vue-cli webpack 引入swiper的操作方法

2018/09/15 Javascript

python网络编程学习笔记(六)：Web客户端访问

2014/06/09 Python

python操作列表的函数使用代码详解

2017/12/28 Python

Python中Proxypool库的安装与配置

2018/10/19 Python

django orm 通过related_name反向查询的方法

2018/12/15 Python

python实现动态创建类的方法分析

2019/06/25 Python

Python 私有化操作实例分析

2019/11/21 Python

Python3如何在Windows和Linux上打包

2020/02/25 Python

深入解析HTML5使用SVG图像时的viewBox属性用法

2015/09/02 HTML / CSS

瑞典香水、须后水和美容产品购物网站：Parfym-Klick.se

2019/12/29 全球购物

自我鉴定写作要点

2014/01/17 职场文书

国际商务专业求职信

2014/07/15 职场文书

2015年挂职锻炼工作总结

2014/12/12 职场文书

2015年林业工作总结

2015/05/14 职场文书

2015年妇幼卫生工作总结

2015/05/23 职场文书

24句精辟的现实社会语录，句句扎心，道尽人性

2019/08/29 职场文书

Pytorch 如何加速Dataloader提升数据读取速度

2021/05/28 Python