Python使用Scrapy保存控制台信息到文本解析


Posted in Python onDecember 27, 2017

在Windows平台下,如果想运行爬虫的话,就需要在cmd中输入:

scrapy crawl spider_name

这时,爬虫就能启动,并在控制台(cmd)中打印一些信息,如下图所示:

Python使用Scrapy保存控制台信息到文本解析

但是,cmd中默认只能显示几屏的信息,其他的信息就无法看到。

如果我们想查看爬虫在运行过程中的调试信息或错误信息的话,会很不方便。

此时,我们就可以将控制台的信息写入的一个文本文件中去,方便我们查看。

命令如下:

D:\>scrapy crawl spder_name -s LOG_FILE=scrapy.log

总结

以上就是本文关于Python使用Scrapy保存控制台信息到文本解析的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
python二叉树的实现实例
Nov 21 Python
python文件读写操作与linux shell变量命令交互执行的方法
Jan 14 Python
Django 路由控制的实现
Jul 17 Python
python爬虫 爬取58同城上所有城市的租房信息详解
Jul 30 Python
Python学习笔记之迭代器和生成器用法实例详解
Aug 08 Python
Python上下文管理器类和上下文管理器装饰器contextmanager用法实例分析
Nov 07 Python
python、Matlab求定积分的实现
Nov 20 Python
Python中的X[:,0]、X[:,1]、X[:,:,0]、X[:,:,1]、X[:,m:n]和X[:,:,m:n]
Feb 13 Python
PyQt5如何将.ui文件转换为.py文件的实例代码
May 26 Python
python 基于selenium实现鼠标拖拽功能
Dec 24 Python
用Python实现定时备份Mongodb数据并上传到FTP服务器
Jan 27 Python
Python selenium的这三种等待方式一定要会!
Jun 10 Python
Python简单生成随机姓名的方法示例
Dec 27 #Python
ubuntu中配置pyqt4环境教程
Dec 27 #Python
Python中Threading用法详解
Dec 27 #Python
SVM基本概念及Python实现代码
Dec 27 #Python
Python自定义函数定义,参数,调用代码解析
Dec 27 #Python
详解用Python处理HTML转义字符的5种方式
Dec 27 #Python
Python中使用支持向量机(SVM)算法
Dec 26 #Python
You might like
php用正则表达式匹配URL的简单方法
2013/11/12 PHP
PHP获取短链接跳转后的真实地址和响应头信息的方法
2014/07/25 PHP
php自动更新版权信息显示的方法
2015/06/19 PHP
浅谈PHP中JSON数据操作
2015/07/01 PHP
PHP实现时间比较和时间差计算的方法示例
2017/07/24 PHP
如何在centos8自定义目录安装php7.3
2019/11/28 PHP
关于PHP5.6+版本“No input file specified”问题的解决
2019/12/11 PHP
Jquery 组合form元素为json格式,asp.net反序列化
2009/07/09 Javascript
Json序列化和反序列化方法解析
2013/12/19 Javascript
bootstrap data与jquery .data
2014/07/07 Javascript
JS实现点击按钮获取页面高度的方法
2015/11/02 Javascript
AngularJS转换响应内容
2016/01/27 Javascript
Bootstrap源码解读导航条(7)
2016/12/23 Javascript
js事件冒泡与事件捕获详解
2017/02/20 Javascript
canvas实现环形进度条效果
2017/03/23 Javascript
vue.js中created方法作用
2018/03/30 Javascript
angular4自定义表单控件[(ngModel)]的实现
2018/11/23 Javascript
JavaScript数组去重实现方法小结
2020/01/17 Javascript
JavaScript实现栈结构Stack过程详解
2020/03/07 Javascript
js模拟实现百度搜索
2020/06/28 Javascript
phpsir 开发 一个检测百度关键字网站排名的python 程序
2009/09/17 Python
python模块restful使用方法实例
2013/12/10 Python
跟老齐学Python之集合的关系
2014/09/24 Python
python生成随机mac地址的方法
2015/03/16 Python
tensorflow 实现打印pb模型的所有节点
2020/01/23 Python
python中使用.py配置文件的方法详解
2020/11/23 Python
Java程序员面试题
2016/09/27 面试题
出纳的岗位职责
2013/11/09 职场文书
测量工程专业求职信
2014/02/24 职场文书
高三毕业典礼主持词
2014/03/27 职场文书
市场总经理岗位职责
2014/04/11 职场文书
勤俭节约倡议书
2014/04/14 职场文书
大学生迟到检讨书500字
2014/10/17 职场文书
反腐倡廉观后感
2015/06/08 职场文书
2019个人工作计划书的格式及范文!
2019/07/04 职场文书
Python-typing: 类型标注与支持 Any类型详解
2021/05/10 Python