编程 Python

详解python3 + Scrapy爬虫学习之创建项目

Posted in Python onApril 12, 2019

最近准备做一个关于scrapy框架的实战，爬取腾讯社招信息并存储，这篇博客记录一下创建项目的步骤

pycharm是无法创建一个scrapy项目的

因此，我们需要用命令行的方法新建一个scrapy项目

请确保已经安装了scrapy，twisted，pypiwin32

一：进入你所需要的路径，这个路径存储你创建的项目

详解python3 + Scrapy爬虫学习之创建项目

我的将放在E盘的Scrapy目录下

二：创建项目：scrapy startproject ***(这个是项目名)

详解python3 + Scrapy爬虫学习之创建项目

这样就创建好了一个名为tencent的项目

三：进入项目新建一个爬虫：scrapy genspider tencent_spider hr.tencent.com

这里我们要注意，上面的命令，加黑的是爬虫名称，斜体是域名

详解python3 + Scrapy爬虫学习之创建项目

这样，我们就新建了一个爬虫项目，打开文件夹查看

详解python3 + Scrapy爬虫学习之创建项目

打开spiders

详解python3 + Scrapy爬虫学习之创建项目

然后我们用pycharm打开

详解python3 + Scrapy爬虫学习之创建项目

点击File —>open，找到项目所在文件夹，打开即可

详解python3 + Scrapy爬虫学习之创建项目

这样，我们就新建了一个scrapy项目，如果安装了所需要的库，scrapy飘红，记得去切换解释器

在File—>settings的标红的地方

详解python3 + Scrapy爬虫学习之创建项目

另外推荐大家，在根目录下新建一个start.py的文件并写入

from scrapy import cmdline
 
cmdline.execute("scrapy crawl tencent_spider".split())

这样，我们每次运行，运行start.py，即可，不用到命令行执行运行命令

详解python3 + Scrapy爬虫学习之创建项目

鼠标右键tencent，新建python文件，即可创建。

以上所述是小编给大家介绍的python3 Scrapy爬虫创建项目详解整合，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持！

详解python3 + Scrapy爬虫学习之创建项目

- Author -

s_kangkang_A

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

Python常用模块用法分析

Sep 08 Python

Django应用程序中如何发送电子邮件详解

Feb 04 Python

python实现控制台打印的方法

Jan 12 Python

python实现对输入的密文加密

Mar 20 Python

Python中的asyncio代码详解

Jun 10 Python

Python3 实现串口两进程同时读写

Jun 12 Python

Django REST框架创建一个简单的Api实例讲解

Nov 05 Python

Python socket聊天脚本代码实例

Jan 02 Python

python和JavaScript哪个容易上手

Jun 23 Python

python用700行代码实现http客户端

Jan 14 Python

python爬虫线程池案例详解(梨视频短视频爬取)

Feb 20 Python

在前女友婚礼上,用Python破解了现场的WIFI还把名称改成了

May 28 Python

Python2和Python3的共存和切换使用

Apr 12 #Python

Python面向对象程序设计类变量与成员变量、类方法与成员方法用法分析

Apr 12 #Python

Python、 Pycharm、Django安装详细教程(图文)

Apr 12 #Python

Python面向对象程序设计构造函数和析构函数用法分析

Apr 12 #Python

Python面向对象思想与应用入门教程【类与对象】

Apr 12 #Python

Python实现的登录验证系统完整案例【基于搭建的MVC框架】

Apr 12 #Python

Python实现的银行系统模拟程序完整案例

Apr 12 #Python

You might like

探讨如何在php168_cms中提取验证码

2013/06/08 PHP

php中用date函数获取当前时间有误的解决办法

2013/08/02 PHP

PHP FTP操作类代码( 上传、拷贝、移动、删除文件/创建目录)

2014/05/10 PHP

PHP实现通过正则表达式替换回调的内容标签

2015/06/15 PHP

thinkPHP中分页用法实例分析

2015/12/26 PHP

PHP中ltrim与rtrim去除左右空格及特殊字符实例

2016/01/07 PHP

Laravel路由设定和子路由设定实例分析

2016/03/30 PHP

js树形控件脚本代码

2008/07/24 Javascript

常用简易JavaScript函数

2009/04/09 Javascript

javascript Array.sort() 跨浏览器下需要考虑的问题

2009/12/07 Javascript

基于Jquery实现表格动态分页实现代码

2011/06/21 Javascript

treepanel动态加载数据实现代码

2012/12/15 Javascript

js拆分字符串并将分割的数据放到数组中的方法

2015/05/06 Javascript

跟我学习javascript的作用域与作用域链

2015/11/19 Javascript

javascript Promise简单学习使用方法小结

2016/05/17 Javascript

Javascript中的 “&” 和 “|” 详解

2017/02/02 Javascript

JavaScript html5利用FileReader实现上传功能

2020/03/27 Javascript

vue如何实现observer和watcher源码解析

2017/03/09 Javascript

jQuery+ajax读取json数据并按照价格排序示例

2018/03/28 jQuery

vue.js使用v-pre与v-html输出HTML操作示例

2018/07/07 Javascript

vue2中使用sass并配置全局的sass样式变量的方法

2018/09/04 Javascript

Vue CLI3搭建的项目中路径相关问题的解决

2018/09/17 Javascript

详解webpack打包nodejs项目(前端代码)

2018/09/19 NodeJs

微信小程序登陆注册功能的实现代码

2019/12/10 Javascript

js实现带有动画的返回顶部

2020/08/09 Javascript

浅谈python和C语言混编的几种方式(推荐)

2017/09/27 Python

python 设置文件编码格式的实现方法

2017/12/21 Python

python实现比对美团接口返回数据和本地mongo数据是否一致示例

2019/08/09 Python

在vscode中配置python环境过程解析

2019/09/28 Python

np.random.seed() 的使用详解

2020/01/14 Python

使用IPython或Spyder将省略号表示的内容完整输出

2020/04/20 Python

基于python实现查询ip地址来源

2020/06/02 Python

美国在线旅行社：Crystal Travel

2018/09/11 全球购物

意大利奢侈品多品牌集合店：TheDoubleF

2019/08/24 全球购物

2016年校园植树节广播稿

2015/12/17 职场文书

导游词之南迦巴瓦峰

2019/11/19 职场文书