编程 Python

详解python3 + Scrapy爬虫学习之创建项目

Posted in Python onApril 12, 2019

最近准备做一个关于scrapy框架的实战，爬取腾讯社招信息并存储，这篇博客记录一下创建项目的步骤

pycharm是无法创建一个scrapy项目的

因此，我们需要用命令行的方法新建一个scrapy项目

请确保已经安装了scrapy，twisted，pypiwin32

一：进入你所需要的路径，这个路径存储你创建的项目

详解python3 + Scrapy爬虫学习之创建项目

我的将放在E盘的Scrapy目录下

二：创建项目：scrapy startproject ***(这个是项目名)

详解python3 + Scrapy爬虫学习之创建项目

这样就创建好了一个名为tencent的项目

三：进入项目新建一个爬虫：scrapy genspider tencent_spider hr.tencent.com

这里我们要注意，上面的命令，加黑的是爬虫名称，斜体是域名

详解python3 + Scrapy爬虫学习之创建项目

这样，我们就新建了一个爬虫项目，打开文件夹查看

详解python3 + Scrapy爬虫学习之创建项目

打开spiders

详解python3 + Scrapy爬虫学习之创建项目

然后我们用pycharm打开

详解python3 + Scrapy爬虫学习之创建项目

点击File —>open，找到项目所在文件夹，打开即可

详解python3 + Scrapy爬虫学习之创建项目

这样，我们就新建了一个scrapy项目，如果安装了所需要的库，scrapy飘红，记得去切换解释器

在File—>settings的标红的地方

详解python3 + Scrapy爬虫学习之创建项目

另外推荐大家，在根目录下新建一个start.py的文件并写入

from scrapy import cmdline
 
cmdline.execute("scrapy crawl tencent_spider".split())

这样，我们每次运行，运行start.py，即可，不用到命令行执行运行命令

详解python3 + Scrapy爬虫学习之创建项目

鼠标右键tencent，新建python文件，即可创建。

以上所述是小编给大家介绍的python3 Scrapy爬虫创建项目详解整合，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持！

详解python3 + Scrapy爬虫学习之创建项目

- Author -

s_kangkang_A

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

python合并文本文件示例

Feb 07 Python

wxpython学习笔记(推荐查看)

Jun 09 Python

Python实现远程调用MetaSploit的方法

Aug 22 Python

简单介绍Python中的几种数据类型

Jan 02 Python

Python操作SQLite数据库的方法详解【导入,创建,游标,增删改查等】

Jul 11 Python

Python enumerate索引迭代代码解析

Jan 19 Python

Python使用Dijkstra算法实现求解图中最短路径距离问题详解

May 16 Python

Python学习笔记之函数的定义和作用域实例详解

Aug 13 Python

python 用 xlwings 库生成图表的操作方法

Dec 22 Python

如何基于pythonnet调用halcon脚本

Jan 20 Python

pycharm通过anaconda安装pyqt5的教程

Mar 24 Python

基于django micro搭建网站实现加水印功能

May 22 Python

Python2和Python3的共存和切换使用

Apr 12 #Python

Python面向对象程序设计类变量与成员变量、类方法与成员方法用法分析

Apr 12 #Python

Python、 Pycharm、Django安装详细教程(图文)

Apr 12 #Python

Python面向对象程序设计构造函数和析构函数用法分析

Apr 12 #Python

Python面向对象思想与应用入门教程【类与对象】

Apr 12 #Python

Python实现的登录验证系统完整案例【基于搭建的MVC框架】

Apr 12 #Python

Python实现的银行系统模拟程序完整案例

Apr 12 #Python

You might like

php5.3中连接sqlserver2000的两种方法(com与ODBC)

2012/12/29 PHP

php 无法加载mcrypt.dll的解决办法

2013/04/03 PHP

php实现查询百度google收录情况(示例代码)

2013/08/02 PHP

php中session退出登陆问题

2014/02/27 PHP

PHP错误和异长常处理总结

2014/03/06 PHP

PHP 生成微信红包代码简单

2016/03/25 PHP

Laravel中的Blade模板引擎示例详解

2017/10/10 PHP

laravel5.5添加echarts实现画图功能的方法

2019/10/09 PHP

javascript 常用代码技巧大收集

2009/02/25 Javascript

jQuery EasyUI中对表格进行编辑的实现代码

2010/06/10 Javascript

JavaScript动态创建link标签到head里的方法

2014/12/22 Javascript

通过伪协议解决父页面与iframe页面通信的问题

2015/04/05 Javascript

jQuery获取checkboxlist的value值的方法

2015/09/27 Javascript

JavaScript中获取Radio被选中的值

2015/11/11 Javascript

jQuery获取复选框被选中数量及判断选择值的方法详解

2016/05/25 Javascript

网页中右键功能的实现方法之contextMenu的使用

2017/02/20 Javascript

jQuery实现字符串全部替换的方法【推荐】

2017/03/09 Javascript

Vue.js学习记录之在元素与template中使用v-if指令实例

2017/06/27 Javascript

在vue项目中引入highcharts图表的方法(详解)

2018/03/05 Javascript

微信开发之微信jssdk录音功能开发示例

2018/10/22 Javascript

在Create React App中启用Sass和Less的方法示例

2019/01/16 Javascript

nodejs开发一个最简单的web服务器实例讲解

2020/01/02 NodeJs

[37:45]2014 DOTA2国际邀请赛中国区预选赛5.21 DT VS Orenda

2014/05/22 DOTA

使用PyCharm配合部署Python的Django框架的配置纪实

2015/11/19 Python

python使用os.listdir和os.walk获得文件的路径的方法

2017/12/16 Python

Python用csv写入文件_消除空余行的方法

2018/07/06 Python

搞定这套Python爬虫面试题(面试会so easy)

2019/04/03 Python

python使用原始套接字发送二层包(链路层帧)的方法

2019/07/22 Python

Python散点图与折线图绘制过程解析

2019/11/30 Python

Python Django搭建网站流程图解

2020/06/13 Python

在canvas上实现元素图片镜像翻转动画效果的方法

2018/03/20 HTML / CSS

财务担保书范文

2014/04/02 职场文书

2015年幼儿园安全工作总结

2015/05/12 职场文书

大学生村官工作心得体会

2016/01/23 职场文书

教你用Python写一个植物大战僵尸小游戏

2021/04/25 Python

Hive HQL支持2种查询语句风格

2022/06/25 数据库