编程 Python

详解python3 + Scrapy爬虫学习之创建项目

Posted in Python onApril 12, 2019

最近准备做一个关于scrapy框架的实战，爬取腾讯社招信息并存储，这篇博客记录一下创建项目的步骤

pycharm是无法创建一个scrapy项目的

因此，我们需要用命令行的方法新建一个scrapy项目

请确保已经安装了scrapy，twisted，pypiwin32

一：进入你所需要的路径，这个路径存储你创建的项目

详解python3 + Scrapy爬虫学习之创建项目

我的将放在E盘的Scrapy目录下

二：创建项目：scrapy startproject ***(这个是项目名)

详解python3 + Scrapy爬虫学习之创建项目

这样就创建好了一个名为tencent的项目

三：进入项目新建一个爬虫：scrapy genspider tencent_spider hr.tencent.com

这里我们要注意，上面的命令，加黑的是爬虫名称，斜体是域名

详解python3 + Scrapy爬虫学习之创建项目

这样，我们就新建了一个爬虫项目，打开文件夹查看

详解python3 + Scrapy爬虫学习之创建项目

打开spiders

详解python3 + Scrapy爬虫学习之创建项目

然后我们用pycharm打开

详解python3 + Scrapy爬虫学习之创建项目

点击File —>open，找到项目所在文件夹，打开即可

详解python3 + Scrapy爬虫学习之创建项目

这样，我们就新建了一个scrapy项目，如果安装了所需要的库，scrapy飘红，记得去切换解释器

在File—>settings的标红的地方

详解python3 + Scrapy爬虫学习之创建项目

另外推荐大家，在根目录下新建一个start.py的文件并写入

from scrapy import cmdline
 
cmdline.execute("scrapy crawl tencent_spider".split())

这样，我们每次运行，运行start.py，即可，不用到命令行执行运行命令

详解python3 + Scrapy爬虫学习之创建项目

鼠标右键tencent，新建python文件，即可创建。

以上所述是小编给大家介绍的python3 Scrapy爬虫创建项目详解整合，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持！

详解python3 + Scrapy爬虫学习之创建项目

- Author -

s_kangkang_A

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

Python多线程结合队列下载百度音乐的方法

Jul 27 Python

详解Python编程中对Monkey Patch猴子补丁开发方式的运用

May 27 Python

浅谈Python中chr、unichr、ord字符函数之间的对比

Jun 16 Python

详解Python实现按任意键继续/退出的功能

Aug 19 Python

python中利用Future对象回调别的函数示例代码

Sep 07 Python

Flask模拟实现CSRF攻击的方法

Jul 24 Python

win10 64bit下python NLTK安装教程

Sep 19 Python

pycharm运行出现ImportError:No module named的解决方法

Oct 13 Python

python实现任意位置文件分割的实例

Dec 14 Python

python3获取url文件大小示例代码

Sep 18 Python

Pycharm 2019 破解激活方法图文详解

Oct 11 Python

numpy.ndarray 实现对特定行或列取值

Dec 05 Python

Python2和Python3的共存和切换使用

Apr 12 #Python

Python面向对象程序设计类变量与成员变量、类方法与成员方法用法分析

Apr 12 #Python

Python、 Pycharm、Django安装详细教程(图文)

Apr 12 #Python

Python面向对象程序设计构造函数和析构函数用法分析

Apr 12 #Python

Python面向对象思想与应用入门教程【类与对象】

Apr 12 #Python

Python实现的登录验证系统完整案例【基于搭建的MVC框架】

Apr 12 #Python

Python实现的银行系统模拟程序完整案例

Apr 12 #Python

You might like

PHP中防止直接访问或查看或下载config.php文件的方法

2012/07/07 PHP

浅析PHP中Collection 类的设计

2013/06/21 PHP

thinkphp模板赋值与替换实例简述

2014/11/24 PHP

PHP生成随机数的方法总结

2018/03/01 PHP

php实现记事本案例

2020/10/20 PHP

js的event详解。

2006/09/06 Javascript

jQuery live( type, fn ) 委派事件实现

2009/10/11 Javascript

JavaScript 用cloneNode方法克隆节点的代码

2012/10/15 Javascript

js螺旋动画效果的具体实例

2013/11/15 Javascript

js获取时间(本周、本季度、本月..)

2013/11/22 Javascript

使用forever管理nodejs应用教程

2014/06/03 NodeJs

js实现点击链接后延迟3秒再跳转的方法

2015/06/05 Javascript

Bootstrap CSS组件之输入框组

2016/12/17 Javascript

Vue 项目中遇到的跨域问题及解决方法(后台php)

2018/03/28 Javascript

微信小程序实现swiper切换卡内嵌滚动条不显示的方法示例

2018/12/20 Javascript

微信小程序实现侧边分类栏

2019/10/21 Javascript

[02:24]DOTA2亚洲邀请赛 NAVI战队出场宣传片

2015/02/07 DOTA

[03:58]兄弟们，回来开黑了！DOTA2昔日战友招募宣传视频

2016/07/17 DOTA

[01:09:01]完美世界DOTA2联赛循环赛 Magma vs PXG BO2第一场 10.28

2020/10/28 DOTA

Python+OpenCV人脸检测原理及示例详解

2020/10/19 Python

Python实现中一次读取多个值的方法

2018/04/22 Python

python+selenium打印当前页面的titl和url方法

2018/06/22 Python

Python实现的KMeans聚类算法实例分析

2018/12/29 Python

python os.fork() 循环输出方法

2019/08/08 Python

基于python3抓取pinpoint应用信息入库

2020/01/08 Python

Python使用uuid库生成唯一标识ID

2020/02/12 Python

Python常用base64 md5 aes des crc32加密解密方法汇总

2020/11/06 Python

输入N，打印N*N矩阵

2012/02/20 面试题

举例说明类变量和实例变量的区别

2016/06/30 面试题

自荐信写法介绍

2014/01/25 职场文书

物流专员岗位职责

2014/02/17 职场文书

校园安全教育广播稿

2014/02/17 职场文书

推销搭讪开场白

2015/05/28 职场文书

实习证明格式范文

2015/06/16 职场文书

教你怎么用python实现字符串转日期

2021/05/24 Python

mysql使用FIND_IN_SET和group_concat两个方法查询上下级机构

2022/04/20 MySQL