详解python3 + Scrapy爬虫学习之创建项目


Posted in Python onApril 12, 2019

最近准备做一个关于scrapy框架的实战,爬取腾讯社招信息并存储,这篇博客记录一下创建项目的步骤

pycharm是无法创建一个scrapy项目的

详解python3 + Scrapy爬虫学习之创建项目

因此,我们需要用命令行的方法新建一个scrapy项目

请确保已经安装了scrapy,twisted,pypiwin32

一:进入你所需要的路径,这个路径存储你创建的项目

详解python3 + Scrapy爬虫学习之创建项目

我的将放在E盘的Scrapy目录下

二:创建项目:scrapy startproject ***(这个是项目名)

详解python3 + Scrapy爬虫学习之创建项目

这样就创建好了一个名为tencent的项目

三:进入项目新建一个爬虫:scrapy genspider tencent_spider hr.tencent.com

这里我们要注意,上面的命令,加黑的是爬虫名称,斜体是域名

详解python3 + Scrapy爬虫学习之创建项目

这样,我们就新建了一个爬虫项目,打开文件夹查看

详解python3 + Scrapy爬虫学习之创建项目

打开spiders

详解python3 + Scrapy爬虫学习之创建项目

然后我们用pycharm打开

详解python3 + Scrapy爬虫学习之创建项目

点击File —>open,找到项目所在文件夹,打开即可

详解python3 + Scrapy爬虫学习之创建项目

这样,我们就新建了一个scrapy项目,如果安装了所需要的库,scrapy飘红,记得去切换解释器

在File—>settings的标红的地方

详解python3 + Scrapy爬虫学习之创建项目

另外推荐大家,在根目录下新建一个start.py的文件并写入

from scrapy import cmdline
 
cmdline.execute("scrapy crawl tencent_spider".split())

这样,我们每次运行,运行start.py,即可,不用到命令行执行运行命令

详解python3 + Scrapy爬虫学习之创建项目

鼠标右键tencent,新建python文件,即可创建。

以上所述是小编给大家介绍的python3  Scrapy爬虫创建项目详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
python持久性管理pickle模块详细介绍
Feb 18 Python
在Python的框架中为MySQL实现restful接口的教程
Apr 08 Python
修改Python的pyxmpp2中的主循环使其提高性能
Apr 24 Python
Python使用PyCrypto实现AES加密功能示例
May 22 Python
Python数据分析库pandas基本操作方法
Apr 08 Python
python同时遍历数组的索引和值的实例
Nov 15 Python
python3人脸识别的两种方法
Apr 25 Python
Python 实现的 Google 批量翻译功能
Aug 26 Python
django formset实现数据表的批量操作的示例代码
Dec 06 Python
Pytorch 实现数据集自定义读取
Jan 18 Python
完美解决python针对hdfs上传和下载的问题
Jun 05 Python
PyQt5结合matplotlib绘图的实现示例
Sep 15 Python
Python2和Python3的共存和切换使用
Apr 12 #Python
Python面向对象程序设计类变量与成员变量、类方法与成员方法用法分析
Apr 12 #Python
Python、 Pycharm、Django安装详细教程(图文)
Apr 12 #Python
Python面向对象程序设计构造函数和析构函数用法分析
Apr 12 #Python
Python面向对象思想与应用入门教程【类与对象】
Apr 12 #Python
Python实现的登录验证系统完整案例【基于搭建的MVC框架】
Apr 12 #Python
Python实现的银行系统模拟程序完整案例
Apr 12 #Python
You might like
我的论坛源代码(二)
2006/10/09 PHP
php实现的ping端口函数实例
2014/11/12 PHP
Symfony2实现在controller中获取url的方法
2016/03/18 PHP
Thinkphp框架开发移动端接口(2)
2016/08/18 PHP
laravel model模型处理之修改查询或修改字段时的类型格式案例
2019/10/17 PHP
js继承 Base类的源码解析
2008/12/30 Javascript
IE8 中使用加速器(Activities)
2010/05/14 Javascript
javascript实现颜色渐变的方法
2013/10/30 Javascript
深入探究JavaScript中for循环的效率问题及相关优化
2016/03/13 Javascript
Javascript必知必会(四)js类型转换
2016/06/08 Javascript
jQuery插件HighCharts绘制2D饼图效果示例【附demo源码下载】
2017/03/21 jQuery
bootstrap table实现双击可编辑、添加、删除行功能
2017/09/27 Javascript
微信小程序 scroll-view 实现锚点跳转功能
2019/12/12 Javascript
[00:32]2016完美“圣”典风云人物:Maybe宣传片
2016/12/05 DOTA
python小技巧之批量抓取美女图片
2014/06/06 Python
Windows下搭建python开发环境详细步骤
2020/07/20 Python
浅谈pandas筛选出表中满足另一个表所有条件的数据方法
2019/02/08 Python
Python 实现输入任意多个数,并计算其平均值的例子
2019/07/16 Python
python excel转换csv代码实例
2019/08/26 Python
Django Docker容器化部署之Django-Docker本地部署
2019/10/09 Python
python中如何进行连乘计算
2020/05/28 Python
IGK Hair官网:喷雾、洗发水、护发素等
2020/11/03 全球购物
临床医学专业个人的自我评价
2013/09/27 职场文书
仓库管理专业个人自我评价范文
2013/11/11 职场文书
应届毕业生应聘自荐信
2013/12/07 职场文书
英语专业学生个人求职信
2014/01/28 职场文书
小学生安全保证书
2014/02/01 职场文书
巾帼文明岗申报材料
2014/05/01 职场文书
学校三节实施方案
2014/06/09 职场文书
投资意向书
2014/07/30 职场文书
“三支一扶”支教教师思想汇报
2014/09/13 职场文书
个人授权委托书
2014/09/15 职场文书
2014民事授权委托书范本
2014/09/29 职场文书
基层工作经历证明
2015/06/19 职场文书
2016庆祝国庆67周年宣传语
2015/11/25 职场文书
Jupyter notebook 不自动弹出网页的解决方案
2021/05/21 Python