Python使用Scrapy保存控制台信息到文本解析


Posted in Python onDecember 27, 2017

在Windows平台下,如果想运行爬虫的话,就需要在cmd中输入:

scrapy crawl spider_name

这时,爬虫就能启动,并在控制台(cmd)中打印一些信息,如下图所示:

Python使用Scrapy保存控制台信息到文本解析

但是,cmd中默认只能显示几屏的信息,其他的信息就无法看到。

如果我们想查看爬虫在运行过程中的调试信息或错误信息的话,会很不方便。

此时,我们就可以将控制台的信息写入的一个文本文件中去,方便我们查看。

命令如下:

D:\>scrapy crawl spder_name -s LOG_FILE=scrapy.log

总结

以上就是本文关于Python使用Scrapy保存控制台信息到文本解析的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
python为tornado添加recaptcha验证码功能
Feb 26 Python
Python Sleep休眠函数使用简单实例
Feb 02 Python
Python实现设置windows桌面壁纸代码分享
Mar 28 Python
python简单的函数定义和用法实例
May 07 Python
通过mod_python配置运行在Apache上的Django框架
Jul 22 Python
Python 模拟登陆的两种实现方法
Aug 10 Python
python timestamp和datetime之间转换详解
Dec 11 Python
python 模拟创建seafile 目录操作示例
Sep 26 Python
Windows下PyCharm2018.3.2 安装教程(图文详解)
Oct 24 Python
Python常用数据分析模块原理解析
Jul 20 Python
Python3爬虫中识别图形验证码的实例讲解
Jul 30 Python
Python Selenium实现无可视化界面过程解析
Aug 25 Python
Python简单生成随机姓名的方法示例
Dec 27 #Python
ubuntu中配置pyqt4环境教程
Dec 27 #Python
Python中Threading用法详解
Dec 27 #Python
SVM基本概念及Python实现代码
Dec 27 #Python
Python自定义函数定义,参数,调用代码解析
Dec 27 #Python
详解用Python处理HTML转义字符的5种方式
Dec 27 #Python
Python中使用支持向量机(SVM)算法
Dec 26 #Python
You might like
深入了解php4(2)--重访过去
2006/10/09 PHP
不使用php api函数实现数组的交换排序示例
2014/04/13 PHP
搜索附近的人PHP实现代码
2018/02/11 PHP
IE不出现Flash激活框的小发现的js实现方法
2007/09/07 Javascript
javascript使用onclick事件改变选中行的颜色
2013/12/30 Javascript
JavaScript中的正则表达式简明总结
2014/04/04 Javascript
jquery的ajax异步请求接收返回json数据实例
2014/06/16 Javascript
JQuery中DOM事件绑定用法详解
2015/06/13 Javascript
JavaScript中获取HTML元素值的三种方法
2016/06/20 Javascript
onmouseover事件和onmouseout事件全面理解
2016/08/15 Javascript
JavaScript用构造函数如何获取变量的类型名
2016/12/23 Javascript
Angualrjs和bootstrap相结合实现数据表格table
2017/03/30 Javascript
微信小程序实战之上拉(分页加载)效果(2)
2017/04/17 Javascript
Node.js 实现简单的接口服务器的实例代码
2017/05/23 Javascript
jQuery用户头像裁剪插件cropbox.js使用详解
2017/06/07 jQuery
Angular2 组件通信的实例代码
2017/06/23 Javascript
Vue组件创建和传值的方法
2018/08/17 Javascript
jquery判断滚动条距离顶部的距离方法
2018/09/05 jQuery
用vue-cli开发vue时的代理设置方法
2018/09/20 Javascript
使用react render props实现倒计时的示例代码
2018/12/06 Javascript
python 默认参数问题的陷阱
2016/02/29 Python
Python探索之爬取电商售卖信息代码示例
2017/10/27 Python
python将txt文件读入为np.array的方法
2018/10/30 Python
Python3实现获取图片文字里中文的方法分析
2018/12/13 Python
Pytorch 数据加载与数据预处理方式
2019/12/31 Python
tensorflow安装成功import tensorflow 出现问题
2020/04/16 Python
使用html2canvas将页面转成图并使用用canvas2image下载
2019/04/04 HTML / CSS
单位消防安全责任书
2014/07/23 职场文书
企业公益活动策划方案
2014/08/24 职场文书
2014校长四风问题对照检查材料思想汇报
2014/09/16 职场文书
党员群众路线整改措施及今后努力方向
2014/10/28 职场文书
小学中等生评语
2014/12/29 职场文书
高三英语复习计划
2015/01/19 职场文书
大学生个人学习总结
2015/02/15 职场文书
pytorch通过训练结果的复现设置随机种子
2021/06/01 Python
vue中data里面的数据相互使用方式
2022/06/05 Vue.js