详解python3 + Scrapy爬虫学习之创建项目


Posted in Python onApril 12, 2019

最近准备做一个关于scrapy框架的实战,爬取腾讯社招信息并存储,这篇博客记录一下创建项目的步骤

pycharm是无法创建一个scrapy项目的

详解python3 + Scrapy爬虫学习之创建项目

因此,我们需要用命令行的方法新建一个scrapy项目

请确保已经安装了scrapy,twisted,pypiwin32

一:进入你所需要的路径,这个路径存储你创建的项目

详解python3 + Scrapy爬虫学习之创建项目

我的将放在E盘的Scrapy目录下

二:创建项目:scrapy startproject ***(这个是项目名)

详解python3 + Scrapy爬虫学习之创建项目

这样就创建好了一个名为tencent的项目

三:进入项目新建一个爬虫:scrapy genspider tencent_spider hr.tencent.com

这里我们要注意,上面的命令,加黑的是爬虫名称,斜体是域名

详解python3 + Scrapy爬虫学习之创建项目

这样,我们就新建了一个爬虫项目,打开文件夹查看

详解python3 + Scrapy爬虫学习之创建项目

打开spiders

详解python3 + Scrapy爬虫学习之创建项目

然后我们用pycharm打开

详解python3 + Scrapy爬虫学习之创建项目

点击File —>open,找到项目所在文件夹,打开即可

详解python3 + Scrapy爬虫学习之创建项目

这样,我们就新建了一个scrapy项目,如果安装了所需要的库,scrapy飘红,记得去切换解释器

在File—>settings的标红的地方

详解python3 + Scrapy爬虫学习之创建项目

另外推荐大家,在根目录下新建一个start.py的文件并写入

from scrapy import cmdline
 
cmdline.execute("scrapy crawl tencent_spider".split())

这样,我们每次运行,运行start.py,即可,不用到命令行执行运行命令

详解python3 + Scrapy爬虫学习之创建项目

鼠标右键tencent,新建python文件,即可创建。

以上所述是小编给大家介绍的python3  Scrapy爬虫创建项目详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
python 控制语句
Nov 03 Python
利用QT写一个极简单的图形化Python闹钟程序
Apr 07 Python
Python中的模块导入和读取键盘输入的方法
Oct 16 Python
基于Python Shell获取hostname和fqdn释疑
Jan 25 Python
Python实现统计给定字符串中重复模式最高子串功能示例
May 16 Python
深入浅析Python中list的复制及深拷贝与浅拷贝
Sep 03 Python
python中logging模块的一些简单用法的使用
Feb 22 Python
搞清楚 Python traceback的具体使用方法
May 13 Python
python 返回一个列表中第二大的数方法
Jul 09 Python
python Tcp协议发送和接收信息的例子
Jul 22 Python
解决python 上传图片限制格式问题
Oct 30 Python
Python Pandas数据分析工具用法实例
Nov 05 Python
Python2和Python3的共存和切换使用
Apr 12 #Python
Python面向对象程序设计类变量与成员变量、类方法与成员方法用法分析
Apr 12 #Python
Python、 Pycharm、Django安装详细教程(图文)
Apr 12 #Python
Python面向对象程序设计构造函数和析构函数用法分析
Apr 12 #Python
Python面向对象思想与应用入门教程【类与对象】
Apr 12 #Python
Python实现的登录验证系统完整案例【基于搭建的MVC框架】
Apr 12 #Python
Python实现的银行系统模拟程序完整案例
Apr 12 #Python
You might like
PHP中对于浮点型的数据需要用不同的方法解决
2014/03/11 PHP
PHP正则表达式 /i, /is, /s, /isU等介绍
2014/10/23 PHP
thinkphp使用phpmailer发送邮件的方法
2014/11/24 PHP
php使用ftp实现文件上传与下载功能
2017/07/21 PHP
php5.5使用PHPMailer-5.2发送邮件的完整步骤
2018/10/14 PHP
php原生数据库分页的代码实例
2019/02/18 PHP
JavaScript 学习点滴记录
2009/04/24 Javascript
JQuery slideshow的一个小问题(如何发现及解决过程)
2013/02/06 Javascript
JS对话框_JS模态对话框showModalDialog用法总结
2014/01/11 Javascript
浅谈JSON.parse()和JSON.stringify()
2015/07/14 Javascript
Angularjs修改密码的实例代码
2017/05/26 Javascript
JS创建Tag标签的方法详解
2017/06/09 Javascript
angular实现页面打印局部功能的思考与方法
2018/04/13 Javascript
微信小程序收藏功能的实现代码
2018/06/12 Javascript
Vue中对拿到的数据进行A-Z排序的实例
2018/09/25 Javascript
jQuery-ui插件sortable实现自由拖动排序
2018/12/01 jQuery
详解Vue.directive 自定义指令
2019/03/27 Javascript
vue-cli3.X快速创建项目的方法步骤
2019/11/14 Javascript
vue中的循环对象属性和属性值用法
2020/09/04 Javascript
[01:16:28]DOTA2-DPC中国联赛 正赛 iG vs Magma BO3 第二场 2月23日
2021/03/11 DOTA
python字符串的方法与操作大全
2018/01/30 Python
python plotly绘制直方图实例详解
2019/07/22 Python
python脚本实现音频m4a格式转成MP3格式的实例代码
2019/10/09 Python
关于numpy数组轴的使用详解
2019/12/05 Python
python datetime时间格式的相互转换问题
2020/06/11 Python
详解WebSocket跨域问题解决
2018/08/06 HTML / CSS
工伤事故赔偿协议书
2014/10/27 职场文书
2014年人事专员工作总结
2014/11/19 职场文书
优秀大学生事迹材料
2014/12/24 职场文书
毕业生政审意见范文
2015/06/04 职场文书
六一儿童节致辞
2015/07/31 职场文书
《夜莺的歌声》教学反思
2016/02/22 职场文书
nginx配置虚拟主机的详细步骤
2021/07/21 Servers
Win11 Build 21996.1 Dev版怎么样? win11系统截图欣赏
2021/11/21 数码科技
Oracle数据库中通用的函数实例详解
2022/03/25 Oracle
解决Oracle数据库用户密码过期
2022/05/11 Oracle