Python使用Scrapy保存控制台信息到文本解析


Posted in Python onDecember 27, 2017

在Windows平台下,如果想运行爬虫的话,就需要在cmd中输入:

scrapy crawl spider_name

这时,爬虫就能启动,并在控制台(cmd)中打印一些信息,如下图所示:

Python使用Scrapy保存控制台信息到文本解析

但是,cmd中默认只能显示几屏的信息,其他的信息就无法看到。

如果我们想查看爬虫在运行过程中的调试信息或错误信息的话,会很不方便。

此时,我们就可以将控制台的信息写入的一个文本文件中去,方便我们查看。

命令如下:

D:\>scrapy crawl spder_name -s LOG_FILE=scrapy.log

总结

以上就是本文关于Python使用Scrapy保存控制台信息到文本解析的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
打开电脑上的QQ的python代码
Feb 10 Python
跟老齐学Python之永远强大的函数
Sep 14 Python
Python多线程编程(二):启动线程的两种方法
Apr 05 Python
python简单获取本机计算机名和IP地址的方法
Jun 03 Python
python tensorflow基于cnn实现手写数字识别
Jan 01 Python
python学习入门细节知识点
Mar 29 Python
dataframe 按条件替换某一列中的值方法
Jan 29 Python
Python实现的大数据分析操作系统日志功能示例
Feb 11 Python
Python中typing模块与类型注解的使用方法
Aug 05 Python
关于Numpy中的行向量和列向量详解
Nov 30 Python
Python调用jar包方法实现过程解析
Aug 11 Python
python 密码学示例——凯撒密码的实现
Sep 21 Python
Python简单生成随机姓名的方法示例
Dec 27 #Python
ubuntu中配置pyqt4环境教程
Dec 27 #Python
Python中Threading用法详解
Dec 27 #Python
SVM基本概念及Python实现代码
Dec 27 #Python
Python自定义函数定义,参数,调用代码解析
Dec 27 #Python
详解用Python处理HTML转义字符的5种方式
Dec 27 #Python
Python中使用支持向量机(SVM)算法
Dec 26 #Python
You might like
探讨PHP删除文件夹的三种方法
2013/06/09 PHP
PHP结合jQuery.autocomplete插件实现输入自动完成提示的功能
2015/04/27 PHP
php 微信开发获取用户信息如何实现
2016/12/13 PHP
php实现的AES加密类定义与用法示例
2018/01/29 PHP
Laravel框架执行原生SQL语句及使用paginate分页的方法
2018/08/17 PHP
node.js chat程序如何实现Ajax long-polling长链接刷新模式
2012/03/13 Javascript
Node.js中使用Buffer编码、解码二进制数据详解
2014/08/16 Javascript
node.js中的fs.openSync方法使用说明
2014/12/17 Javascript
jquery实现Ctrl+Enter提交表单的方法
2015/07/21 Javascript
jQuery插件Validate实现自定义校验结果样式
2016/01/18 Javascript
基于javascript实现根据身份证号码识别性别和年龄
2016/01/22 Javascript
基于Bootstrap实现图片轮播效果
2016/05/22 Javascript
基于JavaScript实现添加到购物车效果附源码下载
2016/08/22 Javascript
Vue.js使用v-show和v-if的注意事项
2016/12/13 Javascript
JS使用cookie实现只出现一次的广告代码效果
2017/04/22 Javascript
JavaScript中Hoisting详解 (变量提升与函数声明提升)
2017/08/18 Javascript
JavaScript将数组转换为链表的方法
2020/02/16 Javascript
javascript设计模式 ? 中介者模式原理与用法实例分析
2020/04/20 Javascript
nodejs中的异步编程知识点详解
2021/01/17 NodeJs
[13:25]VP vs VICI (BO3)
2018/06/07 DOTA
django静态文件加载的方法
2018/05/20 Python
Python高级用法总结
2018/05/26 Python
对python pandas 画移动平均线的方法详解
2018/11/28 Python
Python随机生成身份证号码及校验功能
2018/12/04 Python
python儿童学游戏编程知识点总结
2019/06/03 Python
如何在vscode中安装python库的方法步骤
2021/01/06 Python
css3旋转木马_动力节点Java学院整理
2017/07/12 HTML / CSS
video.js支持m3u8格式直播的实现示例
2020/05/20 HTML / CSS
小学家长会邀请函
2014/01/23 职场文书
自荐书4要点
2014/01/25 职场文书
护理专业毕业生自荐书
2014/05/24 职场文书
国际贸易实训报告
2014/11/05 职场文书
父亲节活动总结
2015/02/12 职场文书
2015中秋节慰问信范文
2015/03/23 职场文书
工资证明格式模板
2015/06/12 职场文书
三种方式清除vue路由跳转router-link的历史记录
2022/04/10 Vue.js