编程 Python

详解python3 + Scrapy爬虫学习之创建项目

Posted in Python onApril 12, 2019

最近准备做一个关于scrapy框架的实战，爬取腾讯社招信息并存储，这篇博客记录一下创建项目的步骤

pycharm是无法创建一个scrapy项目的

因此，我们需要用命令行的方法新建一个scrapy项目

请确保已经安装了scrapy，twisted，pypiwin32

一：进入你所需要的路径，这个路径存储你创建的项目

详解python3 + Scrapy爬虫学习之创建项目

我的将放在E盘的Scrapy目录下

二：创建项目：scrapy startproject ***(这个是项目名)

详解python3 + Scrapy爬虫学习之创建项目

这样就创建好了一个名为tencent的项目

三：进入项目新建一个爬虫：scrapy genspider tencent_spider hr.tencent.com

这里我们要注意，上面的命令，加黑的是爬虫名称，斜体是域名

详解python3 + Scrapy爬虫学习之创建项目

这样，我们就新建了一个爬虫项目，打开文件夹查看

详解python3 + Scrapy爬虫学习之创建项目

打开spiders

详解python3 + Scrapy爬虫学习之创建项目

然后我们用pycharm打开

详解python3 + Scrapy爬虫学习之创建项目

点击File —>open，找到项目所在文件夹，打开即可

详解python3 + Scrapy爬虫学习之创建项目

这样，我们就新建了一个scrapy项目，如果安装了所需要的库，scrapy飘红，记得去切换解释器

在File—>settings的标红的地方

详解python3 + Scrapy爬虫学习之创建项目

另外推荐大家，在根目录下新建一个start.py的文件并写入

from scrapy import cmdline
 
cmdline.execute("scrapy crawl tencent_spider".split())

这样，我们每次运行，运行start.py，即可，不用到命令行执行运行命令

详解python3 + Scrapy爬虫学习之创建项目

鼠标右键tencent，新建python文件，即可创建。

以上所述是小编给大家介绍的python3 Scrapy爬虫创建项目详解整合，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持！

详解python3 + Scrapy爬虫学习之创建项目

- Author -

s_kangkang_A

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

Python实现partial改变方法默认参数

Aug 18 Python

Python迭代用法实例教程

Sep 08 Python

Python 冒泡，选择，插入排序使用实例

Feb 05 Python

将Python的Django框架与认证系统整合的方法

Jul 24 Python

Python正确重载运算符的方法示例详解

Aug 27 Python

python批量修改文件编码格式的方法

May 31 Python

Python基础知识点初识Python.md

May 14 Python

python3.7 使用pymssql往sqlserver插入数据的方法

Jul 08 Python

Python 迭代，for...in遍历，迭代原理与应用示例

Oct 12 Python

python GUI库图形界面开发之PyQt5切换按钮控件QPushButton详细使用方法与实例

Feb 28 Python

python编写俄罗斯方块

Mar 13 Python

python+django+selenium搭建简易自动化测试

Aug 19 Python

Python2和Python3的共存和切换使用

Apr 12 #Python

Python面向对象程序设计类变量与成员变量、类方法与成员方法用法分析

Apr 12 #Python

Python、 Pycharm、Django安装详细教程(图文)

Apr 12 #Python

Python面向对象程序设计构造函数和析构函数用法分析

Apr 12 #Python

Python面向对象思想与应用入门教程【类与对象】

Apr 12 #Python

Python实现的登录验证系统完整案例【基于搭建的MVC框架】

Apr 12 #Python

Python实现的银行系统模拟程序完整案例

Apr 12 #Python

You might like

详解PHP对数组的定义以及数组的创建方法

2015/11/27 PHP

php加速缓存器opcache，apc，xcache，eAccelerator原理与配置方法实例分析

2020/03/02 PHP

JavaScript 错误处理与调试经验总结

2010/08/10 Javascript

自用js开发框架小成学习js的朋友可以看看

2010/11/16 Javascript

Node.js实战建立简单的Web服务器

2012/03/08 Javascript

jQuery中even选择器的定义和用法

2014/12/23 Javascript

jquery中键盘事件小结

2016/02/24 Javascript

用NODE.JS中的流编写工具是要注意的事项

2016/03/01 Javascript

Bootstrap table两种分页示例

2016/12/23 Javascript

用原生JS实现简单的多选框功能

2017/06/12 Javascript

jQuery实现点击关注和取消功能

2017/07/03 jQuery

fetch 使用及如何接收JS传值

2017/11/11 Javascript

vueScroll实现移动端下拉刷新、上拉加载

2019/03/22 Javascript

JS中的算法与数据结构之二叉查找树（Binary Sort Tree）实例详解

2019/08/16 Javascript

JavaScript前端开发时数值运算的小技巧

2020/07/28 Javascript

vue实现简单的登录弹出框

2020/10/26 Javascript

如何使用 vue-cli 创建模板项目

2020/11/19 Vue.js

Python字符串逐字符或逐词反转方法

2015/05/21 Python

python机器学习实战之树回归详解

2017/12/20 Python

Python如何生成树形图案

2018/01/03 Python

Python GUI布局尺寸适配方法

2018/10/11 Python

python 2.7 检测一个网页是否能正常访问的方法

2018/12/26 Python

django orm模块中的 is_delete用法

2020/05/20 Python

Keras中的两种模型:Sequential和Model用法

2020/06/27 Python

详解CSS中iconfont的使用

2015/08/04 HTML / CSS

Lancer Skincare官方网站：抗衰老皮肤护理

2020/11/20 全球购物

Collection和Collections的区别

2016/05/02 面试题

vue 中 get / delete 传递数组参数方法

2021/03/23 Vue.js

高级销售员求职信

2013/10/25 职场文书

房地产管理毕业生自荐信

2013/11/04 职场文书

教师节促销方案

2014/03/22 职场文书

体育系毕业生求职自荐信

2014/04/16 职场文书

施工安全承诺书

2014/05/22 职场文书

毕业论文答辩开场白和结束语

2015/05/27 职场文书

大国崛起英国观后感

2015/06/02 职场文书

如何使用PyCharm及常用配置详解

2021/06/03 Python