编程 Python

详解python3 + Scrapy爬虫学习之创建项目

Posted in Python onApril 12, 2019

最近准备做一个关于scrapy框架的实战，爬取腾讯社招信息并存储，这篇博客记录一下创建项目的步骤

pycharm是无法创建一个scrapy项目的

因此，我们需要用命令行的方法新建一个scrapy项目

请确保已经安装了scrapy，twisted，pypiwin32

一：进入你所需要的路径，这个路径存储你创建的项目

详解python3 + Scrapy爬虫学习之创建项目

我的将放在E盘的Scrapy目录下

二：创建项目：scrapy startproject ***(这个是项目名)

详解python3 + Scrapy爬虫学习之创建项目

这样就创建好了一个名为tencent的项目

三：进入项目新建一个爬虫：scrapy genspider tencent_spider hr.tencent.com

这里我们要注意，上面的命令，加黑的是爬虫名称，斜体是域名

详解python3 + Scrapy爬虫学习之创建项目

这样，我们就新建了一个爬虫项目，打开文件夹查看

详解python3 + Scrapy爬虫学习之创建项目

打开spiders

详解python3 + Scrapy爬虫学习之创建项目

然后我们用pycharm打开

详解python3 + Scrapy爬虫学习之创建项目

点击File —>open，找到项目所在文件夹，打开即可

详解python3 + Scrapy爬虫学习之创建项目

这样，我们就新建了一个scrapy项目，如果安装了所需要的库，scrapy飘红，记得去切换解释器

在File—>settings的标红的地方

详解python3 + Scrapy爬虫学习之创建项目

另外推荐大家，在根目录下新建一个start.py的文件并写入

from scrapy import cmdline
 
cmdline.execute("scrapy crawl tencent_spider".split())

这样，我们每次运行，运行start.py，即可，不用到命令行执行运行命令

详解python3 + Scrapy爬虫学习之创建项目

鼠标右键tencent，新建python文件，即可创建。

以上所述是小编给大家介绍的python3 Scrapy爬虫创建项目详解整合，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持！

详解python3 + Scrapy爬虫学习之创建项目

- Author -

s_kangkang_A

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

Python的Django框架中从url中捕捉文本的方法

Jul 20 Python

python pandas dataframe 按列或者按行合并的方法

Apr 12 Python

Linux下python3.7.0安装教程

Jul 30 Python

python+selenium实现自动抢票功能实例代码

Nov 23 Python

python之cv2与图像的载入、显示和保存实例

Dec 05 Python

python实现函数极小值

Jul 10 Python

使用Python函数进行模块化的实现

Nov 15 Python

python+gdal+遥感图像拼接(mosaic)的实例

Mar 10 Python

Python ADF 单位根检验如何查看结果的实现

Jun 03 Python

在keras中对单一输入图像进行预测并返回预测结果操作

Jul 09 Python

Python如何重新加载模块

Jul 29 Python

PyQt5通过信号实现MVC的示例

Feb 06 Python

Python2和Python3的共存和切换使用

Apr 12 #Python

Python面向对象程序设计类变量与成员变量、类方法与成员方法用法分析

Apr 12 #Python

Python、 Pycharm、Django安装详细教程(图文)

Apr 12 #Python

Python面向对象程序设计构造函数和析构函数用法分析

Apr 12 #Python

Python面向对象思想与应用入门教程【类与对象】

Apr 12 #Python

Python实现的登录验证系统完整案例【基于搭建的MVC框架】

Apr 12 #Python

Python实现的银行系统模拟程序完整案例

Apr 12 #Python

You might like

php mysql索引问题

2008/06/07 PHP

php事务回滚简单实现方法示例

2017/03/28 PHP

利用Homestead快速运行一个Laravel项目的方法详解

2017/11/14 PHP

PHP调用接口用post方法传送json数据的实例

2018/05/31 PHP

jQuery 使用手册(三)

2009/09/23 Javascript

GreyBox技术总结（转）

2010/11/23 Javascript

基于jquery的jqDnR拖拽溢出的修改

2011/02/12 Javascript

兼容各大浏览器的JavaScript阻止事件冒泡代码

2015/07/09 Javascript

js实现左侧网页tab滑动门效果代码

2015/09/06 Javascript

javascript实现下拉提示选择框

2015/12/29 Javascript

BootStrap智能表单实战系列(八)表单配置json详解

2016/06/13 Javascript

无循环 JavaScript(map、reduce、filter和find)

2017/04/08 Javascript

jquery请求servlet实现ajax异步请求的示例

2017/06/03 jQuery

JS实现经典的中国地区三级联动下拉菜单功能实例【测试可用】

2017/06/06 Javascript

对于js垃圾回收机制的理解

2017/09/14 Javascript

vuejs点击class变化的实例

2018/09/05 Javascript

vue canvas绘制矩形并解决由clearRec带来的闪屏问题

2019/09/02 Javascript

vue-router结合vuex实现用户权限控制功能

2019/11/14 Javascript

js实现小时钟效果

2020/03/25 Javascript

如何通过Proxy实现JSBridge模块化封装

2020/10/22 Javascript

js实现磁性吸附的示例

2020/10/26 Javascript

在Django中限制已登录用户的访问的方法

2015/07/23 Python

python实现画圆功能

2018/01/25 Python

python 每天如何定时启动爬虫任务(实现方法分享)

2018/05/21 Python

在Python中分别打印列表中的每一个元素方法

2018/11/07 Python

pycharm创建一个python包方法图解

2019/04/10 Python

Python 中Django验证码功能的实现代码

2019/06/20 Python

完美解决python3.7 pip升级拒绝访问问题

2019/07/12 Python

在Keras中实现保存和加载权重及模型结构

2020/06/15 Python

Lou & Grey美国官网：主打舒适性面料服饰

2017/12/21 全球购物

美国婴儿服装购物网站：Gerber Childrenswear

2020/05/06 全球购物

2014年医院十一国庆节活动方案

2014/09/15 职场文书

中秋晚会致辞

2015/07/31 职场文书

村主任当选感言

2015/08/01 职场文书

浅谈Redis位图(Bitmap)及Redis二进制中的问题

2021/07/15 Redis

Win11如何修改dns？Win11修改dns图文教程

2022/01/18 数码科技