Python使用Scrapy保存控制台信息到文本解析


Posted in Python onDecember 27, 2017

在Windows平台下,如果想运行爬虫的话,就需要在cmd中输入:

scrapy crawl spider_name

这时,爬虫就能启动,并在控制台(cmd)中打印一些信息,如下图所示:

Python使用Scrapy保存控制台信息到文本解析

但是,cmd中默认只能显示几屏的信息,其他的信息就无法看到。

如果我们想查看爬虫在运行过程中的调试信息或错误信息的话,会很不方便。

此时,我们就可以将控制台的信息写入的一个文本文件中去,方便我们查看。

命令如下:

D:\>scrapy crawl spder_name -s LOG_FILE=scrapy.log

总结

以上就是本文关于Python使用Scrapy保存控制台信息到文本解析的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
Python 字符串操作实现代码(截取/替换/查找/分割)
Jun 08 Python
使用setup.py安装python包和卸载python包的方法
Nov 27 Python
Python的Django框架中设置日期和字段可选的方法
Jul 17 Python
Python 递归函数详解及实例
Dec 27 Python
Python基于列表list实现的CRUD操作功能示例
Jan 05 Python
python使用folium库绘制地图点击框
Sep 21 Python
python画图系列之个性化显示x轴区段文字的实例
Dec 13 Python
Pyqt5如何让QMessageBox按钮显示中文示例代码
Apr 11 Python
使用python接入微信聊天机器人
Mar 31 Python
pytorch 实现将自己的图片数据处理成可以训练的图片类型
Jan 08 Python
python与c语言的语法有哪些不一样的
Sep 13 Python
Python修改DBF文件指定列
Dec 19 Python
Python简单生成随机姓名的方法示例
Dec 27 #Python
ubuntu中配置pyqt4环境教程
Dec 27 #Python
Python中Threading用法详解
Dec 27 #Python
SVM基本概念及Python实现代码
Dec 27 #Python
Python自定义函数定义,参数,调用代码解析
Dec 27 #Python
详解用Python处理HTML转义字符的5种方式
Dec 27 #Python
Python中使用支持向量机(SVM)算法
Dec 26 #Python
You might like
Base64在线编码解码实现代码 演示与下载
2011/01/08 PHP
header中Content-Disposition的作用与使用方法
2012/06/13 PHP
php实现图片添加水印功能
2014/02/13 PHP
PHP实现支持加盐的图片加密解密
2016/09/09 PHP
js 编码转换 gb2312 和 utf8 互转的2种方法
2013/08/07 Javascript
JS获取图片实际宽高及根据图片大小进行自适应
2013/08/11 Javascript
JS的get和set使用示例
2014/02/20 Javascript
JS小游戏之极速快跑源码详解
2014/09/25 Javascript
jQuery圆形统计图开发实例
2015/01/04 Javascript
Javascript的表单验证-提交表单
2016/03/18 Javascript
JS如何设置cookie有效期为当天24点并弹出欢迎登陆界面
2016/08/04 Javascript
JS匹配日期和时间的正则表达式示例
2017/05/12 Javascript
jQuery Validate格式验证功能实例代码(包括重名验证)
2017/07/18 jQuery
基于bootstrap写的一点localStorage本地储存
2017/11/21 Javascript
在 vue-cli v3.0 中使用 SCSS/SASS的方法
2018/06/14 Javascript
Vue.js中使用iView日期选择器并设置开始时间结束时间校验功能
2018/08/12 Javascript
layui 给数据表格加序号的方法
2018/08/20 Javascript
Vue 页面状态保持页面间数据传输的一种方法(推荐)
2018/11/01 Javascript
150行代码带你实现微信小程序中的数据侦听
2019/05/17 Javascript
jQuery 选择器用法基础入门示例
2020/01/04 jQuery
JavaScript获取时区实现过程解析
2020/09/24 Javascript
Python编程中归并排序算法的实现步骤详解
2016/05/04 Python
利用Python实现在同一网络中的本地文件共享方法
2018/06/04 Python
Python logging模块用法示例
2018/08/28 Python
python 不同方式读取文件速度不同的实例
2018/11/09 Python
用CSS3实现Win8风格的方格导航菜单效果
2013/04/10 HTML / CSS
AmazeUI 手机版页面的顶部导航条Header与侧边导航栏offCanvas的示例代码
2020/08/19 HTML / CSS
Farfetch香港官网:汇集全球时尚奢侈品购物平台
2017/11/26 全球购物
教师自我鉴定范文
2013/11/10 职场文书
优秀团支部事迹材料
2014/02/08 职场文书
综合素质评价思想道德自我评价
2015/03/09 职场文书
2015年党风建设工作总结
2015/04/29 职场文书
大学生活感想
2015/08/10 职场文书
《小摄影师》教学反思
2016/02/18 职场文书
Python爬取科目四考试题库的方法实现
2021/03/30 Python
Python matplotlib可视化之绘制韦恩图
2022/02/24 Python