Python使用Scrapy保存控制台信息到文本解析


Posted in Python onDecember 27, 2017

在Windows平台下,如果想运行爬虫的话,就需要在cmd中输入:

scrapy crawl spider_name

这时,爬虫就能启动,并在控制台(cmd)中打印一些信息,如下图所示:

Python使用Scrapy保存控制台信息到文本解析

但是,cmd中默认只能显示几屏的信息,其他的信息就无法看到。

如果我们想查看爬虫在运行过程中的调试信息或错误信息的话,会很不方便。

此时,我们就可以将控制台的信息写入的一个文本文件中去,方便我们查看。

命令如下:

D:\>scrapy crawl spder_name -s LOG_FILE=scrapy.log

总结

以上就是本文关于Python使用Scrapy保存控制台信息到文本解析的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
python实现媒体播放器功能
Feb 11 Python
python3+PyQt5实现自定义窗口部件Counters
Apr 20 Python
搞定这套Python爬虫面试题(面试会so easy)
Apr 03 Python
利用python求积分的实例
Jul 03 Python
pytorch:model.train和model.eval用法及区别详解
Feb 20 Python
python GUI库图形界面开发之PyQt5下拉列表框控件QComboBox详细使用方法与实例
Feb 27 Python
详解基于Jupyter notebooks采用sklearn库实现多元回归方程编程
Mar 25 Python
Python实现发票自动校核微信机器人的方法
May 22 Python
python爬虫使用requests发送post请求示例详解
Aug 05 Python
Python操作Word批量生成合同的实现示例
Aug 28 Python
python selenium 获取接口数据的实现
Dec 07 Python
Python 解决空列表.append() 输出为None的问题
May 23 Python
Python简单生成随机姓名的方法示例
Dec 27 #Python
ubuntu中配置pyqt4环境教程
Dec 27 #Python
Python中Threading用法详解
Dec 27 #Python
SVM基本概念及Python实现代码
Dec 27 #Python
Python自定义函数定义,参数,调用代码解析
Dec 27 #Python
详解用Python处理HTML转义字符的5种方式
Dec 27 #Python
Python中使用支持向量机(SVM)算法
Dec 26 #Python
You might like
《Pokemon Sword·Shield》系列WEB动画《薄明之翼》第2话声优阵容公开!
2020/03/06 日漫
php jsonp单引号转义
2014/11/23 PHP
php基础设计模式大全(注册树模式、工厂模式、单列模式)
2015/08/31 PHP
Yii2 ActiveRecord多表关联及多表关联搜索的实现
2016/06/30 PHP
PHP登录验证功能示例【用户名、密码、验证码、数据库、已登陆验证、自动登录和注销登录等】
2019/02/25 PHP
javascript面向对象入门基础详细介绍
2012/09/05 Javascript
js验证电话号码与手机支持+86的正则表达式
2014/01/23 Javascript
Node.js文件操作详解
2014/08/16 Javascript
jQuery中removeClass()方法用法实例
2015/01/05 Javascript
基于jQuery实现表格的查看修改删除
2016/08/01 Javascript
JavaScript实现的CRC32函数示例
2016/11/23 Javascript
Angular.JS判断复选框checkbox是否选中并实时显示
2016/11/30 Javascript
纯js实现图片匀速淡入淡出效果
2017/08/22 Javascript
Webpack 服务器端代码打包的示例代码
2017/09/19 Javascript
jQuery实现的页面详情展开收起功能示例
2018/06/11 jQuery
vue中动态设置meta标签和title标签的方法
2018/07/11 Javascript
Layer UI表格列日期格式化及取消自动填充日期的实现方法
2020/05/10 Javascript
vue中watch和computed的区别与使用方法
2020/08/23 Javascript
wxpython 学习笔记 第一天
2009/02/09 Python
Python删除空文件和空文件夹的方法
2015/07/14 Python
python-itchat 统计微信群、好友数量,及原始消息数据的实例
2019/02/21 Python
django 微信网页授权认证api的步骤详解
2019/07/30 Python
python实现飞机大战游戏(pygame版)
2020/10/26 Python
Python基于httpx模块实现发送请求
2020/07/07 Python
Smallable英国家庭概念店:设计师童装及家居装饰
2017/07/05 全球购物
乌克兰的第一家手表店:Deka
2020/03/05 全球购物
意大利辅助药品、药物和补品在线销售:FarmaEurope
2020/04/29 全球购物
问卷调查计划书
2014/01/10 职场文书
五十岁生日宴会答谢词
2014/01/15 职场文书
艺术设计专业个人求职信
2014/04/10 职场文书
詹天佑教学反思
2014/04/30 职场文书
社区矫正工作方案
2014/06/04 职场文书
房产分割协议书范文
2014/11/21 职场文书
诚信承诺书
2015/01/19 职场文书
2019辞职报告范本3篇!
2019/07/23 职场文书
MSSQL基本语法操作
2022/04/11 SQL Server