Python使用Scrapy保存控制台信息到文本解析


Posted in Python onDecember 27, 2017

在Windows平台下,如果想运行爬虫的话,就需要在cmd中输入:

scrapy crawl spider_name

这时,爬虫就能启动,并在控制台(cmd)中打印一些信息,如下图所示:

Python使用Scrapy保存控制台信息到文本解析

但是,cmd中默认只能显示几屏的信息,其他的信息就无法看到。

如果我们想查看爬虫在运行过程中的调试信息或错误信息的话,会很不方便。

此时,我们就可以将控制台的信息写入的一个文本文件中去,方便我们查看。

命令如下:

D:\>scrapy crawl spder_name -s LOG_FILE=scrapy.log

总结

以上就是本文关于Python使用Scrapy保存控制台信息到文本解析的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
Python中decorator使用实例
Apr 14 Python
关于Python中空格字符串处理的技巧总结
Aug 10 Python
flask中过滤器的使用详解
Aug 01 Python
Python批量删除只保留最近几天table的代码实例
Apr 01 Python
Python2与Python3的区别实例分析
Apr 11 Python
使用TensorFlow对图像进行随机旋转的实现示例
Jan 20 Python
pycharm内无法import已安装的模块问题解决
Feb 12 Python
python多项式拟合之np.polyfit 和 np.polyld详解
Feb 18 Python
Django实现后台上传并显示图片功能
May 29 Python
Python环境搭建过程从安装到Hello World
Feb 05 Python
如何用 Python 制作一个迷宫游戏
Feb 25 Python
django使用多个数据库的方法实例
Mar 04 Python
Python简单生成随机姓名的方法示例
Dec 27 #Python
ubuntu中配置pyqt4环境教程
Dec 27 #Python
Python中Threading用法详解
Dec 27 #Python
SVM基本概念及Python实现代码
Dec 27 #Python
Python自定义函数定义,参数,调用代码解析
Dec 27 #Python
详解用Python处理HTML转义字符的5种方式
Dec 27 #Python
Python中使用支持向量机(SVM)算法
Dec 26 #Python
You might like
extjs ColumnChart设置不同的颜色实现代码
2013/05/17 Javascript
jquery实现图片渐变切换兼容ie6/Chrome/Firefox
2013/08/02 Javascript
js 定时器setTimeout无法调用局部变量的解决办法
2013/11/28 Javascript
Uploadify上传文件方法
2016/03/16 Javascript
详解Javascript继承的实现
2016/03/25 Javascript
jquery获取所有选中的checkbox实现代码
2016/05/26 Javascript
vue指令以及dom操作详解
2017/03/04 Javascript
基于HTML5+JS实现本地图片裁剪并上传功能
2017/03/24 Javascript
详解小程序缓存插件(mrc)
2018/08/17 Javascript
Vue中插入HTML代码的方法
2018/09/21 Javascript
layui radio单选限制下一个radio单选的实例
2019/09/03 Javascript
jQuery实现form表单基于ajax无刷新提交方法实例代码
2019/11/04 jQuery
微信小程序基于movable-view实现滑动删除效果
2020/01/08 Javascript
JS 数组基本用法入门示例解析
2020/01/16 Javascript
vue组件暴露和.js文件暴露接口操作
2020/08/11 Javascript
vue3.0 项目搭建和使用流程
2021/03/04 Vue.js
Django中对通过测试的用户进行限制访问的方法
2015/07/23 Python
Python绘制堆叠柱状图的实例
2019/07/09 Python
用Python+OpenCV对比图像质量的几种方法
2019/07/15 Python
Python中的self用法详解
2019/08/06 Python
python分布式计算dispy的使用详解
2019/12/22 Python
CSS3 毛玻璃效果
2019/08/14 HTML / CSS
基于IE10/HTML5 开发
2013/04/22 HTML / CSS
韩国邮政旗下生鲜食品网上超市:epost
2016/08/27 全球购物
linux面试题参考答案(1)
2016/01/22 面试题
Linux内核产生并发的原因
2012/07/13 面试题
乡镇干部先进事迹材料
2014/02/03 职场文书
班主任新年寄语
2014/04/04 职场文书
水污染治理工程专业求职信
2014/06/14 职场文书
党员四风剖析材料
2014/08/27 职场文书
公司授权委托书格式样本
2014/10/01 职场文书
2015年干部教育培训工作总结
2015/05/15 职场文书
大学运动会加油稿
2015/07/22 职场文书
物业管理交接协议书
2016/03/24 职场文书
postgresql 删除重复数据案例详解
2021/08/02 PostgreSQL
Java GUI编程菜单组件实例详解
2022/04/07 Java/Android