pycharm下打开、执行并调试scrapy爬虫程序的方法


Posted in Python onNovember 29, 2017

首先得有一个Scrapy项目,我在Desktop上新建一个Scrapy的项目叫test,在Desktop目录打开命令行,键入命令:scrapy startproject test1

pycharm下打开、执行并调试scrapy爬虫程序的方法

目录结构如下:

pycharm下打开、执行并调试scrapy爬虫程序的方法

pycharm下打开、执行并调试scrapy爬虫程序的方法

pycharm下打开、执行并调试scrapy爬虫程序的方法

打开Pycharm,选择open

pycharm下打开、执行并调试scrapy爬虫程序的方法

选择项目,ok

pycharm下打开、执行并调试scrapy爬虫程序的方法

打开如下界面之后,按alt + 1, 打开project 面板

pycharm下打开、执行并调试scrapy爬虫程序的方法

pycharm下打开、执行并调试scrapy爬虫程序的方法

在test1/spiders/,文件夹下,新建一个爬虫spider.py, 注意代码中的name="dmoz"。这个名字后面会用到。

pycharm下打开、执行并调试scrapy爬虫程序的方法

在test1目录和scrapy.cfg同级目录下面,新建一个begin.py文件(便于理解可以写成main.py),注意箭头2所指的名字和第5步中的name='dmoz'名字是一样的。

from scrapy import cmdline
cmdline.execute("scrapy crawl dmoz".split())

pycharm下打开、执行并调试scrapy爬虫程序的方法

7. 上面把文件搞定了,下面要配置一下pycharm了。点击Run->Edit Configurations

pycharm下打开、执行并调试scrapy爬虫程序的方法

8. 新建一个运行的python模块

pycharm下打开、执行并调试scrapy爬虫程序的方法

9. Name:改成spider; script:选择刚才新建的那个begin.py文件;Working Direciton:改成自己的工作目录

pycharm下打开、执行并调试scrapy爬虫程序的方法

10. 至此,大功告成了,点击下图,右上角的按钮就能运行了。

pycharm下打开、执行并调试scrapy爬虫程序的方法

调试

可以在其他代码中设置断点,就可以debug运行

pycharm下打开、执行并调试scrapy爬虫程序的方法

pycharm下打开、执行并调试scrapy爬虫程序的方法

遇到问题

1. Unknown command: crawl

调试运行,断点并未命中,控制台输出信息如下:

H:\Python\Python36\python.exe "H:\Program Files (x86)\JetBrains\PyCharm Community Edition 4.5.4\helpers\pydev\pydevd.py" --multiproc --client 127.0.0.1 --port 59810 --file H:/Python/Python36/Lib/site-packages/scrapy/cmdline.py crawl quotes -o quotes.jl
pydev debugger: process 4740 is connecting

Connected to pydev debugger (build 141.3058)
Scrapy 1.3.2 - no active project

Unknown command: crawl

Use "scrapy" to see available commands

Process finished with exit code 2

工作目录设置有误,造成无法识别 scrapy 命令,按照上文所说,将工作目录设置为包含 scrapy.cfg,重新运行,问题解决。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python的一些用法分享
Oct 07 Python
Python中的CURL PycURL使用例子
Jun 01 Python
Python pickle模块用法实例分析
May 27 Python
python目录与文件名操作例子
Aug 28 Python
Python用sndhdr模块识别音频格式详解
Jan 11 Python
利用Opencv中Houghline方法实现直线检测
Feb 11 Python
基于树莓派的语音对话机器人
Jun 17 Python
Python 简单计算要求形状面积的实例
Jan 18 Python
Python实现多线程下载脚本的示例代码
Apr 03 Python
详解python变量与数据类型
Aug 25 Python
利用Python实现朋友圈中的九宫格图片效果
Sep 03 Python
Python离线安装openpyxl模块的步骤
Mar 30 Python
Python快速排序算法实例分析
Nov 29 #Python
Python3学习urllib的使用方法示例
Nov 29 #Python
Python实现的选择排序算法示例
Nov 29 #Python
Python实现的桶排序算法示例
Nov 29 #Python
[原创]教女朋友学Python(一)运行环境搭建
Nov 29 #Python
对变量赋值的理解--Pyton中让两个值互换的实现方法
Nov 29 #Python
基于Python函数的作用域规则和闭包(详解)
Nov 29 #Python
You might like
搜索和替换文件或目录的一个好类--很实用
2006/10/09 PHP
ThinkPHP提示错误Fatal error: Allowed memory size的解决方法
2015/02/12 PHP
ThinkPHP 5.1 跨域配置方法
2019/10/11 PHP
Jquery+JSon 无刷新分页实现代码
2010/04/01 Javascript
异步加载script的代码
2011/01/12 Javascript
原生javaScript实现图片延时加载的方法
2014/12/22 Javascript
基于JavaScript实现简单的随机抽奖小程序
2016/01/05 Javascript
全面介绍javascript实用技巧及单竖杠
2016/07/18 Javascript
vue.js中实现登录控制的方法示例
2018/04/23 Javascript
Vue常见面试题整理【值得收藏】
2018/09/20 Javascript
vue实现的树形结构加多选框示例
2019/02/02 Javascript
jQuery事件绑定和解绑、事件冒泡与阻止事件冒泡及弹出应用示例
2019/05/13 jQuery
autojs 蚂蚁森林能量自动拾取即给指定好友浇水的实现方法
2020/05/03 Javascript
[01:01:18]DOTA2上海特级锦标赛主赛事日 - 2 败者组第二轮#2COL VS LGD
2016/03/03 DOTA
AI人工智能 Python实现人机对话
2017/11/13 Python
win10系统下Anaconda3安装配置方法图文教程
2018/09/19 Python
python实现大转盘抽奖效果
2019/01/22 Python
利用pandas将非数值数据转换成数值的方式
2019/12/18 Python
Python小白学习爬虫常用请求报头
2020/06/03 Python
经验丰富程序员才知道的8种高级Python技巧
2020/07/27 Python
python利用xlsxwriter模块 操作 Excel
2020/10/14 Python
如何用python爬取微博热搜数据并保存
2021/02/20 Python
Html5 Geolocation获取地理位置信息实例
2016/12/09 HTML / CSS
美国性感内衣店:Yandy
2018/06/12 全球购物
苏格兰领先的多渠道鞋店:Begg Shoes
2019/10/22 全球购物
Harman Audio官方商店:购买JBL、Harman Kardon、Infinity和AKG
2019/12/05 全球购物
struct和class的区别
2015/11/20 面试题
文明学生事迹材料
2014/01/29 职场文书
勤俭节约倡议书
2014/04/14 职场文书
公务员上班玩游戏检讨书
2014/09/17 职场文书
2014年大学学生会工作总结
2014/12/02 职场文书
初中家长意见
2015/06/03 职场文书
关于分班的感言
2015/08/04 职场文书
保姆聘用合同
2015/09/21 职场文书
2017新年晚会开幕词
2016/03/03 职场文书
Java完整实现记事本代码
2022/06/16 Java/Android