详解python3 + Scrapy爬虫学习之创建项目


Posted in Python onApril 12, 2019

最近准备做一个关于scrapy框架的实战,爬取腾讯社招信息并存储,这篇博客记录一下创建项目的步骤

pycharm是无法创建一个scrapy项目的

详解python3 + Scrapy爬虫学习之创建项目

因此,我们需要用命令行的方法新建一个scrapy项目

请确保已经安装了scrapy,twisted,pypiwin32

一:进入你所需要的路径,这个路径存储你创建的项目

详解python3 + Scrapy爬虫学习之创建项目

我的将放在E盘的Scrapy目录下

二:创建项目:scrapy startproject ***(这个是项目名)

详解python3 + Scrapy爬虫学习之创建项目

这样就创建好了一个名为tencent的项目

三:进入项目新建一个爬虫:scrapy genspider tencent_spider hr.tencent.com

这里我们要注意,上面的命令,加黑的是爬虫名称,斜体是域名

详解python3 + Scrapy爬虫学习之创建项目

这样,我们就新建了一个爬虫项目,打开文件夹查看

详解python3 + Scrapy爬虫学习之创建项目

打开spiders

详解python3 + Scrapy爬虫学习之创建项目

然后我们用pycharm打开

详解python3 + Scrapy爬虫学习之创建项目

点击File —>open,找到项目所在文件夹,打开即可

详解python3 + Scrapy爬虫学习之创建项目

这样,我们就新建了一个scrapy项目,如果安装了所需要的库,scrapy飘红,记得去切换解释器

在File—>settings的标红的地方

详解python3 + Scrapy爬虫学习之创建项目

另外推荐大家,在根目录下新建一个start.py的文件并写入

from scrapy import cmdline
 
cmdline.execute("scrapy crawl tencent_spider".split())

这样,我们每次运行,运行start.py,即可,不用到命令行执行运行命令

详解python3 + Scrapy爬虫学习之创建项目

鼠标右键tencent,新建python文件,即可创建。

以上所述是小编给大家介绍的python3  Scrapy爬虫创建项目详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
python合并文本文件示例
Feb 07 Python
wxpython学习笔记(推荐查看)
Jun 09 Python
Python实现远程调用MetaSploit的方法
Aug 22 Python
简单介绍Python中的几种数据类型
Jan 02 Python
Python操作SQLite数据库的方法详解【导入,创建,游标,增删改查等】
Jul 11 Python
Python enumerate索引迭代代码解析
Jan 19 Python
Python使用Dijkstra算法实现求解图中最短路径距离问题详解
May 16 Python
Python学习笔记之函数的定义和作用域实例详解
Aug 13 Python
python 用 xlwings 库 生成图表的操作方法
Dec 22 Python
如何基于pythonnet调用halcon脚本
Jan 20 Python
pycharm通过anaconda安装pyqt5的教程
Mar 24 Python
基于django micro搭建网站实现加水印功能
May 22 Python
Python2和Python3的共存和切换使用
Apr 12 #Python
Python面向对象程序设计类变量与成员变量、类方法与成员方法用法分析
Apr 12 #Python
Python、 Pycharm、Django安装详细教程(图文)
Apr 12 #Python
Python面向对象程序设计构造函数和析构函数用法分析
Apr 12 #Python
Python面向对象思想与应用入门教程【类与对象】
Apr 12 #Python
Python实现的登录验证系统完整案例【基于搭建的MVC框架】
Apr 12 #Python
Python实现的银行系统模拟程序完整案例
Apr 12 #Python
You might like
php5.3中连接sqlserver2000的两种方法(com与ODBC)
2012/12/29 PHP
php 无法加载mcrypt.dll的解决办法
2013/04/03 PHP
php实现查询百度google收录情况(示例代码)
2013/08/02 PHP
php中session退出登陆问题
2014/02/27 PHP
PHP错误和异长常处理总结
2014/03/06 PHP
PHP 生成微信红包代码简单
2016/03/25 PHP
Laravel中的Blade模板引擎示例详解
2017/10/10 PHP
laravel5.5添加echarts实现画图功能的方法
2019/10/09 PHP
javascript 常用代码技巧大收集
2009/02/25 Javascript
jQuery EasyUI中对表格进行编辑的实现代码
2010/06/10 Javascript
JavaScript动态创建link标签到head里的方法
2014/12/22 Javascript
通过伪协议解决父页面与iframe页面通信的问题
2015/04/05 Javascript
jQuery获取checkboxlist的value值的方法
2015/09/27 Javascript
JavaScript中获取Radio被选中的值
2015/11/11 Javascript
jQuery获取复选框被选中数量及判断选择值的方法详解
2016/05/25 Javascript
网页中右键功能的实现方法之contextMenu的使用
2017/02/20 Javascript
jQuery实现字符串全部替换的方法【推荐】
2017/03/09 Javascript
Vue.js学习记录之在元素与template中使用v-if指令实例
2017/06/27 Javascript
在vue项目中引入highcharts图表的方法(详解)
2018/03/05 Javascript
微信开发之微信jssdk录音功能开发示例
2018/10/22 Javascript
在Create React App中启用Sass和Less的方法示例
2019/01/16 Javascript
nodejs开发一个最简单的web服务器实例讲解
2020/01/02 NodeJs
[37:45]2014 DOTA2国际邀请赛中国区预选赛5.21 DT VS Orenda
2014/05/22 DOTA
使用PyCharm配合部署Python的Django框架的配置纪实
2015/11/19 Python
python使用os.listdir和os.walk获得文件的路径的方法
2017/12/16 Python
Python用csv写入文件_消除空余行的方法
2018/07/06 Python
搞定这套Python爬虫面试题(面试会so easy)
2019/04/03 Python
python使用原始套接字发送二层包(链路层帧)的方法
2019/07/22 Python
Python散点图与折线图绘制过程解析
2019/11/30 Python
Python Django搭建网站流程图解
2020/06/13 Python
在canvas上实现元素图片镜像翻转动画效果的方法
2018/03/20 HTML / CSS
财务担保书范文
2014/04/02 职场文书
2015年幼儿园安全工作总结
2015/05/12 职场文书
大学生村官工作心得体会
2016/01/23 职场文书
教你用Python写一个植物大战僵尸小游戏
2021/04/25 Python
Hive HQL支持2种查询语句风格
2022/06/25 数据库