编程 Python

详解python3 + Scrapy爬虫学习之创建项目

Posted in Python onApril 12, 2019

最近准备做一个关于scrapy框架的实战，爬取腾讯社招信息并存储，这篇博客记录一下创建项目的步骤

pycharm是无法创建一个scrapy项目的

因此，我们需要用命令行的方法新建一个scrapy项目

请确保已经安装了scrapy，twisted，pypiwin32

一：进入你所需要的路径，这个路径存储你创建的项目

详解python3 + Scrapy爬虫学习之创建项目

我的将放在E盘的Scrapy目录下

二：创建项目：scrapy startproject ***(这个是项目名)

详解python3 + Scrapy爬虫学习之创建项目

这样就创建好了一个名为tencent的项目

三：进入项目新建一个爬虫：scrapy genspider tencent_spider hr.tencent.com

这里我们要注意，上面的命令，加黑的是爬虫名称，斜体是域名

详解python3 + Scrapy爬虫学习之创建项目

这样，我们就新建了一个爬虫项目，打开文件夹查看

详解python3 + Scrapy爬虫学习之创建项目

打开spiders

详解python3 + Scrapy爬虫学习之创建项目

然后我们用pycharm打开

详解python3 + Scrapy爬虫学习之创建项目

点击File —>open，找到项目所在文件夹，打开即可

详解python3 + Scrapy爬虫学习之创建项目

这样，我们就新建了一个scrapy项目，如果安装了所需要的库，scrapy飘红，记得去切换解释器

在File—>settings的标红的地方

详解python3 + Scrapy爬虫学习之创建项目

另外推荐大家，在根目录下新建一个start.py的文件并写入

from scrapy import cmdline
 
cmdline.execute("scrapy crawl tencent_spider".split())

这样，我们每次运行，运行start.py，即可，不用到命令行执行运行命令

详解python3 + Scrapy爬虫学习之创建项目

鼠标右键tencent，新建python文件，即可创建。

以上所述是小编给大家介绍的python3 Scrapy爬虫创建项目详解整合，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持！

详解python3 + Scrapy爬虫学习之创建项目

- Author -

s_kangkang_A

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

Python数据结构与算法之常见的分配排序法示例【桶排序与基数排序】

Dec 15 Python

Python使用matplotlib实现绘制自定义图形功能示例

Jan 18 Python

python导出hive数据表的schema实例代码

Jan 22 Python

使用python实现快速搭建简易的FTP服务器

Sep 12 Python

在PyCharm的 Terminal（终端）切换Python版本的方法

Aug 02 Python

pytorch 实现将自己的图片数据处理成可以训练的图片类型

Jan 08 Python

flask框架自定义url转换器操作详解

Jan 25 Python

python实现3D地图可视化

Mar 25 Python

Python爬虫JSON及JSONPath运行原理详解

Jun 04 Python

python如何安装下载后的模块

Jul 03 Python

pandas.DataFrame.drop_duplicates 用法介绍

Jul 06 Python

python套接字socket通信

Apr 01 Python

Python2和Python3的共存和切换使用

Apr 12 #Python

Python面向对象程序设计类变量与成员变量、类方法与成员方法用法分析

Apr 12 #Python

Python、 Pycharm、Django安装详细教程(图文)

Apr 12 #Python

Python面向对象程序设计构造函数和析构函数用法分析

Apr 12 #Python

Python面向对象思想与应用入门教程【类与对象】

Apr 12 #Python

Python实现的登录验证系统完整案例【基于搭建的MVC框架】

Apr 12 #Python

Python实现的银行系统模拟程序完整案例

Apr 12 #Python

You might like

PHP学习笔记之三数据库基本操作

2011/01/17 PHP

PHP下获取上个月、下个月、本月的日期(strtotime,date)

2014/02/02 PHP

Smarty foreach控制循环次数的一些方法

2015/07/01 PHP

四个PHP非常实用的功能

2015/09/29 PHP

php-beanstalkd消息队列类实例分享

2017/07/19 PHP

在Javascript里访问SharePoint列表数据的实现方法

2011/05/22 Javascript

js获取图片大小的函数代码

2011/09/20 Javascript

JavaScript中最简洁的编码html字符串的方法

2014/10/11 Javascript

js使用递归解析xml

2014/12/12 Javascript

js获取url传值的方法

2015/12/18 Javascript

scroll事件实现监控滚动条并分页显示(zepto.js)

2016/12/18 Javascript

jQuery快速实现商品数量加减的方法

2017/02/06 Javascript

微信小程序实现皮肤功能（夜间模式）

2017/06/18 Javascript

再谈Angular4 脏值检测(性能优化)

2018/04/23 Javascript

Vue CLI3 开启gzip压缩文件的方式

2018/09/30 Javascript

微信小程序实现九宫格抽奖

2020/04/15 Javascript

使用vue2.6实现抖音【时间轮盘】屏保效果附源码

2019/04/24 Javascript

[01:36:57]【09DOTA2第一视角】小骷髅

2014/04/16 DOTA

[00:43]TI7不朽珍藏III——幽鬼不朽展示

2017/07/15 DOTA

简单介绍Python中的filter和lambda函数的使用

2015/04/07 Python

Python函数式编程指南（四）：生成器详解

2015/06/24 Python

利用Python自动监控网站并发送邮件告警的方法

2016/08/24 Python

Django原生sql也能使用Paginator分页的示例代码

2017/11/15 Python

python 利用opencv实现图像网络传输

2020/11/12 Python

利用CSS3的定位页面元素

2009/08/29 HTML / CSS

使用html2canvas实现将html内容写入到canvas中生成图片

2020/01/03 HTML / CSS

中国电子产品外贸网站：MiniIntheBox

2017/02/06 全球购物

巴西最好的男鞋：Rafarillo

2018/05/25 全球购物

迟到检讨书大全

2014/01/25 职场文书

小班重阳节活动方案

2014/02/08 职场文书

2014年十一国庆向国旗敬礼寄语

2014/04/11 职场文书

公安机关正风肃纪剖析材料

2014/10/10 职场文书

小学生作文评语集锦

2014/12/25 职场文书

2015年社区统计工作总结

2015/04/21 职场文书

读完《骆驼祥子》的观后感！

2019/07/05 职场文书

Python实现学生管理系统（面向对象版）

2021/06/24 Python