Python使用Scrapy保存控制台信息到文本解析


Posted in Python onDecember 27, 2017

在Windows平台下,如果想运行爬虫的话,就需要在cmd中输入:

scrapy crawl spider_name

这时,爬虫就能启动,并在控制台(cmd)中打印一些信息,如下图所示:

Python使用Scrapy保存控制台信息到文本解析

但是,cmd中默认只能显示几屏的信息,其他的信息就无法看到。

如果我们想查看爬虫在运行过程中的调试信息或错误信息的话,会很不方便。

此时,我们就可以将控制台的信息写入的一个文本文件中去,方便我们查看。

命令如下:

D:\>scrapy crawl spder_name -s LOG_FILE=scrapy.log

总结

以上就是本文关于Python使用Scrapy保存控制台信息到文本解析的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
py2exe 编译ico图标的代码
Mar 08 Python
python TKinter获取文本框内容的方法
Oct 11 Python
对pycharm 修改程序运行所需内存详解
Dec 03 Python
Python3 单行多行万能正则匹配方法
Jan 07 Python
Python3.5多进程原理与用法实例分析
Apr 05 Python
Python之NumPy(axis=0 与axis=1)区分详解
May 27 Python
python主线程与子线程的结束顺序实例解析
Dec 17 Python
Python Print实现在输出中插入变量的例子
Dec 25 Python
Django ORM filter() 的运用详解
May 14 Python
keras中的卷积层&池化层的用法
May 22 Python
python GUI计算器的实现
Oct 09 Python
用python监控服务器的cpu,磁盘空间,内存,超过邮件报警
Jan 29 Python
Python简单生成随机姓名的方法示例
Dec 27 #Python
ubuntu中配置pyqt4环境教程
Dec 27 #Python
Python中Threading用法详解
Dec 27 #Python
SVM基本概念及Python实现代码
Dec 27 #Python
Python自定义函数定义,参数,调用代码解析
Dec 27 #Python
详解用Python处理HTML转义字符的5种方式
Dec 27 #Python
Python中使用支持向量机(SVM)算法
Dec 26 #Python
You might like
PHP+javascript模拟Matrix画面
2006/10/09 PHP
比较全的PHP 会话(session 时间设定)使用入门代码
2008/06/05 PHP
php获取用户IPv4或IPv6地址的代码
2012/11/15 PHP
PHP实现递归无限级分类
2015/10/22 PHP
php生成毫秒时间戳的实例讲解
2017/09/22 PHP
JavaScript中的Window窗口对象
2008/01/16 Javascript
javascript 匿名函数的理解(透彻版)
2010/01/28 Javascript
ajax的hide隐藏问题解决方法
2012/12/11 Javascript
制作jquery遮罩层效果导航菜单代码分享
2013/12/25 Javascript
jquery实现ajax提交form表单的方法总结
2014/03/03 Javascript
15个jquery常用方法、小技巧分享
2015/01/13 Javascript
javascript结合Flexbox简单实现滑动拼图游戏
2016/02/18 Javascript
浅谈Sublime Text 3运行JavaScript控制台
2016/06/06 Javascript
AngularJS变量及过滤器Filter用法分析
2016/11/22 Javascript
100行代码理解和分析vue2.0响应式架构
2017/03/09 Javascript
JavaScript基于扩展String实现替换字符串中index处字符的方法
2017/06/13 Javascript
JavaScript中concat复制数组方法浅析
2019/01/20 Javascript
回顾Javascript React基础
2019/06/15 Javascript
基于Vue中的父子传值问题解决
2020/07/27 Javascript
[27:39]Ti4 循环赛第二日 LGD vs Fnatic
2014/07/11 DOTA
[23:21]Ti4 冒泡赛第二轮DK vs C9 2
2014/07/14 DOTA
[00:59]DOTA2背景故事第二期之四大基本法则
2020/07/07 DOTA
使用Python编写简单网络爬虫抓取视频下载资源
2014/11/04 Python
Python的Flask框架中使用Flask-SQLAlchemy管理数据库的教程
2016/06/14 Python
浅谈Matplotlib简介和pyplot的简单使用——文本标注和箭头
2018/01/09 Python
NumPy 如何生成多维数组的方法
2018/02/05 Python
django加载本地html的方法
2018/05/27 Python
详解anaconda离线安装pytorchGPU版
2020/09/08 Python
历史专业个人求职信分享
2013/12/20 职场文书
中学优秀班主任事迹材料
2014/05/01 职场文书
欢迎领导标语
2014/06/27 职场文书
离婚协议书的书写要求
2014/09/17 职场文书
初中家长评语大全
2014/12/26 职场文书
导游词之徐州-云龙山
2019/09/29 职场文书
HTML5来实现本地文件读取和写入的实现方法
2021/05/25 HTML / CSS
教你部署vue项目到docker
2022/04/05 Vue.js