详解python3 + Scrapy爬虫学习之创建项目


Posted in Python onApril 12, 2019

最近准备做一个关于scrapy框架的实战,爬取腾讯社招信息并存储,这篇博客记录一下创建项目的步骤

pycharm是无法创建一个scrapy项目的

详解python3 + Scrapy爬虫学习之创建项目

因此,我们需要用命令行的方法新建一个scrapy项目

请确保已经安装了scrapy,twisted,pypiwin32

一:进入你所需要的路径,这个路径存储你创建的项目

详解python3 + Scrapy爬虫学习之创建项目

我的将放在E盘的Scrapy目录下

二:创建项目:scrapy startproject ***(这个是项目名)

详解python3 + Scrapy爬虫学习之创建项目

这样就创建好了一个名为tencent的项目

三:进入项目新建一个爬虫:scrapy genspider tencent_spider hr.tencent.com

这里我们要注意,上面的命令,加黑的是爬虫名称,斜体是域名

详解python3 + Scrapy爬虫学习之创建项目

这样,我们就新建了一个爬虫项目,打开文件夹查看

详解python3 + Scrapy爬虫学习之创建项目

打开spiders

详解python3 + Scrapy爬虫学习之创建项目

然后我们用pycharm打开

详解python3 + Scrapy爬虫学习之创建项目

点击File —>open,找到项目所在文件夹,打开即可

详解python3 + Scrapy爬虫学习之创建项目

这样,我们就新建了一个scrapy项目,如果安装了所需要的库,scrapy飘红,记得去切换解释器

在File—>settings的标红的地方

详解python3 + Scrapy爬虫学习之创建项目

另外推荐大家,在根目录下新建一个start.py的文件并写入

from scrapy import cmdline
 
cmdline.execute("scrapy crawl tencent_spider".split())

这样,我们每次运行,运行start.py,即可,不用到命令行执行运行命令

详解python3 + Scrapy爬虫学习之创建项目

鼠标右键tencent,新建python文件,即可创建。

以上所述是小编给大家介绍的python3  Scrapy爬虫创建项目详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Python编程中的文件操作攻略
Oct 16 Python
python+matplotlib实现鼠标移动三角形高亮及索引显示
Jan 15 Python
PyQt5每天必学之组合框
Apr 20 Python
使用python判断你是青少年还是老年人
Nov 29 Python
python从list列表中选出一个数和其对应的坐标方法
Jul 20 Python
Python笔记之facade模式
Nov 20 Python
pytorch::Dataloader中的迭代器和生成器应用详解
Jan 03 Python
pytorch 实现在预训练模型的 input上增减通道
Jan 06 Python
python代码区分大小写吗
Jun 17 Python
python 爬取百度文库并下载(免费文章限定)
Dec 04 Python
python自动化之如何利用allure生成测试报告
May 02 Python
详解Python描述符的工作原理
Jun 11 Python
Python2和Python3的共存和切换使用
Apr 12 #Python
Python面向对象程序设计类变量与成员变量、类方法与成员方法用法分析
Apr 12 #Python
Python、 Pycharm、Django安装详细教程(图文)
Apr 12 #Python
Python面向对象程序设计构造函数和析构函数用法分析
Apr 12 #Python
Python面向对象思想与应用入门教程【类与对象】
Apr 12 #Python
Python实现的登录验证系统完整案例【基于搭建的MVC框架】
Apr 12 #Python
Python实现的银行系统模拟程序完整案例
Apr 12 #Python
You might like
十天学会php之第九天
2006/10/09 PHP
ThinkPHP3.0略缩图不能保存到子目录的解决方法
2012/09/30 PHP
php生成zip文件类实例
2015/04/07 PHP
兼容多浏览器的字幕特效Marquee的通用js类
2008/07/20 Javascript
为调试JavaScript添加输出窗口的代码
2010/02/07 Javascript
从零开始学习jQuery (六) jquery中的AJAX使用
2011/02/23 Javascript
深入学习JavaScript中的Rest参数和参数默认值
2015/07/28 Javascript
谈谈JavaScript中function多重理解
2015/08/28 Javascript
JS实现关闭当前页而不弹出提示框的方法
2016/06/22 Javascript
javascript实现滚动效果的数字时钟实例
2016/07/21 Javascript
详解Jquery的事件操作和文档操作
2016/12/19 Javascript
详解angular2采用自定义指令(Directive)方式加载jquery插件
2017/02/09 Javascript
JS实现的计数排序与基数排序算法示例
2017/12/04 Javascript
Makefile/cmake/node-gyp中区分判断不同平台的方法
2018/12/18 Javascript
JavaScript简单实现动态改变HTML内容的方法示例
2018/12/25 Javascript
Python随机生成数模块random使用实例
2015/04/13 Python
简单谈谈python中的lambda表达式
2018/01/19 Python
python使用代理ip访问网站的实例
2018/05/07 Python
在Pycharm中对代码进行注释和缩进的方法详解
2019/01/20 Python
python3利用ctypes传入一个字符串类型的列表方法
2019/02/12 Python
Python正则表达式匹配数字和小数的方法
2019/07/03 Python
Python re 模块findall() 函数返回值展现方式解析
2019/08/09 Python
python 解决flask uwsgi 获取不到全局变量的问题
2019/12/22 Python
基于HTML5代码实现折叠菜单附源码下载
2015/11/27 HTML / CSS
Silk’n激光脱毛器官网:silkn.com
2016/10/06 全球购物
英国翻新电子产品购物网站:Tech Trade
2017/12/25 全球购物
Ben Sherman官方网站:英国男装品牌
2019/10/22 全球购物
阿联酋最好的手机、电子产品和家用电器网上商店:Eros Digital Home
2020/08/09 全球购物
C有"按引用传递"吗
2016/09/06 面试题
c语言常见笔试题总结
2016/09/05 面试题
物流管理专业毕业生自荐信
2014/03/04 职场文书
绩效工资实施方案
2014/03/15 职场文书
2015年世界无车日活动总结
2015/03/23 职场文书
庭外和解协议书
2016/03/23 职场文书
2016年少先队活动总结
2016/04/06 职场文书
Python 把两层列表展开平铺成一层(5种实现方式)
2021/04/07 Python