Python使用Scrapy保存控制台信息到文本解析


Posted in Python onDecember 27, 2017

在Windows平台下,如果想运行爬虫的话,就需要在cmd中输入:

scrapy crawl spider_name

这时,爬虫就能启动,并在控制台(cmd)中打印一些信息,如下图所示:

Python使用Scrapy保存控制台信息到文本解析

但是,cmd中默认只能显示几屏的信息,其他的信息就无法看到。

如果我们想查看爬虫在运行过程中的调试信息或错误信息的话,会很不方便。

此时,我们就可以将控制台的信息写入的一个文本文件中去,方便我们查看。

命令如下:

D:\>scrapy crawl spder_name -s LOG_FILE=scrapy.log

总结

以上就是本文关于Python使用Scrapy保存控制台信息到文本解析的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
深入解析Python设计模式编程中建造者模式的使用
Mar 02 Python
Python实现将HTML转换成doc格式文件的方法示例
Nov 20 Python
python 接口返回的json字符串实例
Mar 27 Python
python使用matplotlib模块绘制多条折线图、散点图
Apr 26 Python
python微元法计算函数曲线长度的方法
Nov 08 Python
Python 实现文件读写、坐标寻址、查找替换功能
Sep 11 Python
查看端口并杀进程python脚本代码
Dec 17 Python
Python装饰器用法与知识点小结
Mar 09 Python
django template实现定义临时变量,自定义赋值、自增实例
Jul 12 Python
python 实现性别识别
Nov 21 Python
python某漫画app逆向
Mar 31 Python
Python绘制地图神器folium的新人入门指南
May 23 Python
Python简单生成随机姓名的方法示例
Dec 27 #Python
ubuntu中配置pyqt4环境教程
Dec 27 #Python
Python中Threading用法详解
Dec 27 #Python
SVM基本概念及Python实现代码
Dec 27 #Python
Python自定义函数定义,参数,调用代码解析
Dec 27 #Python
详解用Python处理HTML转义字符的5种方式
Dec 27 #Python
Python中使用支持向量机(SVM)算法
Dec 26 #Python
You might like
《OVERLORD》第四季,终于等到你!
2020/03/02 日漫
Mysql中分页查询的两个解决方法比较
2013/05/02 PHP
PHP循环结构实例讲解
2014/02/10 PHP
Laravel实现搜索的时候分页并携带参数
2019/10/15 PHP
PHP7 新增功能
2021/03/09 PHP
免费空间广告万能消除代码
2006/09/04 Javascript
JSON JQUERY模板实现说明
2010/07/03 Javascript
jqPlot 基于jquery的画图插件
2011/04/26 Javascript
使用jQuery Ajax功能时需要注意的一个问题(内存溢出)
2012/05/30 Javascript
深入了解javascript中的prototype与继承
2013/04/14 Javascript
JS写的贪吃蛇游戏(个人练习)
2013/07/08 Javascript
基于jquery的文章中所有图片width大小批量设置方法
2013/08/01 Javascript
jQuery基于当前元素进行下一步的遍历
2014/05/20 Javascript
利用JavaScript脚本实现滚屏效果的方法
2015/07/07 Javascript
jquery图片倾斜层叠切换特效代码分享
2015/08/27 Javascript
基于jquery实现的仿优酷图片轮播特效代码
2016/01/13 Javascript
基于jQuery实现动态搜索显示功能
2016/05/05 Javascript
JavaScript直播评论发弹幕切图功能点集合效果代码
2016/06/26 Javascript
原生js实现淘宝购物车功能
2020/06/23 Javascript
javascript实现电脑和手机版样式切换
2017/11/10 Javascript
实例详解vue.js浅度监听和深度监听及watch用法
2018/08/16 Javascript
jQuery简单实现根据日期计算星期几的方法
2019/01/09 jQuery
详解用Webpack与Babel配置ES6开发环境
2019/03/12 Javascript
微信小程序连续签到7天积分获得功能的示例代码
2020/08/20 Javascript
Python使用pygame模块编写俄罗斯方块游戏的代码实例
2015/12/08 Python
Python安装官方whl包和tar.gz包的方法(推荐)
2017/06/04 Python
python图像常规操作
2017/11/11 Python
python matplotlib 注释文本箭头简单代码示例
2018/01/08 Python
对numpy.append()里的axis的用法详解
2018/06/28 Python
python实现基于信息增益的决策树归纳
2018/12/18 Python
Python模块 _winreg操作注册表
2020/02/05 Python
世界顶级户外运动品牌折扣网站:LeftLane Sports
2019/06/12 全球购物
土木工程毕业生推荐信
2013/10/28 职场文书
医院搬迁方案
2014/06/14 职场文书
初中班长竞选稿
2015/11/20 职场文书
Java实现带图形界面的聊天程序
2022/06/10 Java/Android