编程 Python

详解python3 + Scrapy爬虫学习之创建项目

Posted in Python onApril 12, 2019

最近准备做一个关于scrapy框架的实战，爬取腾讯社招信息并存储，这篇博客记录一下创建项目的步骤

pycharm是无法创建一个scrapy项目的

因此，我们需要用命令行的方法新建一个scrapy项目

请确保已经安装了scrapy，twisted，pypiwin32

一：进入你所需要的路径，这个路径存储你创建的项目

详解python3 + Scrapy爬虫学习之创建项目

我的将放在E盘的Scrapy目录下

二：创建项目：scrapy startproject ***(这个是项目名)

详解python3 + Scrapy爬虫学习之创建项目

这样就创建好了一个名为tencent的项目

三：进入项目新建一个爬虫：scrapy genspider tencent_spider hr.tencent.com

这里我们要注意，上面的命令，加黑的是爬虫名称，斜体是域名

详解python3 + Scrapy爬虫学习之创建项目

这样，我们就新建了一个爬虫项目，打开文件夹查看

详解python3 + Scrapy爬虫学习之创建项目

打开spiders

详解python3 + Scrapy爬虫学习之创建项目

然后我们用pycharm打开

详解python3 + Scrapy爬虫学习之创建项目

点击File —>open，找到项目所在文件夹，打开即可

详解python3 + Scrapy爬虫学习之创建项目

这样，我们就新建了一个scrapy项目，如果安装了所需要的库，scrapy飘红，记得去切换解释器

在File—>settings的标红的地方

详解python3 + Scrapy爬虫学习之创建项目

另外推荐大家，在根目录下新建一个start.py的文件并写入

from scrapy import cmdline
 
cmdline.execute("scrapy crawl tencent_spider".split())

这样，我们每次运行，运行start.py，即可，不用到命令行执行运行命令

详解python3 + Scrapy爬虫学习之创建项目

鼠标右键tencent，新建python文件，即可创建。

以上所述是小编给大家介绍的python3 Scrapy爬虫创建项目详解整合，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持！

详解python3 + Scrapy爬虫学习之创建项目

- Author -

s_kangkang_A

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

pymssql ntext字段调用问题解决方法

Dec 17 Python

python字典序问题实例

Sep 26 Python

Python中的迭代器漫谈

Feb 03 Python

基于Python代码编辑器的选用(详解)

Sep 13 Python

python 对给定可迭代集合统计出现频率,并排序的方法

Oct 18 Python

python3发送邮件需要经过代理服务器的示例代码

Jul 25 Python

Python函数装饰器原理与用法详解

Aug 16 Python

python爬虫爬取监控教务系统的思路详解

Jan 08 Python

Python基于QQ邮箱实现SSL发送

Apr 26 Python

python多线程爬取西刺代理的示例代码

Jan 30 Python

python 命令行传参方法总结

May 25 Python

Python基础学习之奇异的GUI对话框

May 27 Python

Python2和Python3的共存和切换使用

Apr 12 #Python

Python面向对象程序设计类变量与成员变量、类方法与成员方法用法分析

Apr 12 #Python

Python、 Pycharm、Django安装详细教程(图文)

Apr 12 #Python

Python面向对象程序设计构造函数和析构函数用法分析

Apr 12 #Python

Python面向对象思想与应用入门教程【类与对象】

Apr 12 #Python

Python实现的登录验证系统完整案例【基于搭建的MVC框架】

Apr 12 #Python

Python实现的银行系统模拟程序完整案例

Apr 12 #Python

You might like

php set_magic_quotes_runtime() 函数过时解决方法

2010/07/08 PHP

PHP临时文件的安全性分析

2014/07/04 PHP

POST一个JSON格式的数据给Restful服务实例详解

2017/04/07 PHP

Jquery中对数组的操作代码

2011/08/12 Javascript

简略说明Javascript中的= =(等于)与= = =(全等于)区别

2013/04/16 Javascript

iframe实用操作锦集

2014/04/22 Javascript

JQuery ztree 异步加载实例讲解

2016/02/25 Javascript

总结JavaScript三种数据存储方式之间的区别

2016/05/03 Javascript

jQuery读取XML文件的方法示例

2017/02/03 Javascript

前端路由&webpack基础配置详解

2019/06/10 Javascript

JavaScript中展开运算符及应用的实例代码

2021/01/14 Javascript

python搭建简易服务器分析与实现

2012/12/15 Python

Python中join和split用法实例

2015/04/14 Python

Python输出PowerPoint（ppt）文件中全部文字信息的方法

2015/04/28 Python

python用10行代码实现对黄色图片的检测功能

2015/08/10 Python

Python3 queue队列模块详细介绍

2018/01/05 Python

Python实现基于KNN算法的笔迹识别功能详解

2018/07/09 Python

Python判断以什么结尾以什么开头的实例

2018/10/27 Python

Python关于excel和shp的使用在matplotlib

2019/01/03 Python

Python JSON编解码方式原理详解

2020/01/20 Python

python requests包的request()函数中的参数-params和data的区别介绍

2020/05/05 Python

利用python爬取有道词典的方法

2020/12/08 Python

Matlab使用Plot函数实现数据动态显示方法总结

2021/02/25 Python

Bibloo匈牙利：女装、男装、童装及鞋子和配饰

2019/04/14 全球购物

linux比较文件内容的命令是什么

2015/09/23 面试题

党员自我批评与反省材料

2014/02/10 职场文书

2014年消防工作总结

2014/11/21 职场文书

2014幼儿园班主任工作总结

2014/12/04 职场文书

2015年小学体育工作总结

2015/05/22 职场文书

赢在执行观后感

2015/06/16 职场文书

回复函格式及范文

2015/07/14 职场文书

Python爬虫之爬取最新更新的小说网站

2021/05/06 Python

CSS的class与id常用的命名规则

2021/05/18 HTML / CSS

SpringBoot整合JWT的入门指南

2021/06/29 Java/Android

解决MySQL报“too many connections“错误

2022/04/19 MySQL

Redis入门基础常用操作命令整理

2022/06/01 Redis