mac安装scrapy并创建项目的实例讲解


Posted in Python onJune 13, 2018

最近刚好在学习python+scrapy的爬虫技术,因为mac是自带python2.7的,所以安装3.5版本有两种方法,一种是升级,一种是额外安装3.5版本。

升级就不用说了,讲讲额外安装的版本吧~~~

因为python是有自带版本的,最开始安装的时候都会有一种“ 会不会冲突 ”的感觉。

其实安装3.5版本也就是在官网上直接下载之后安装,和普通的mac软件安装方式是一样的~~

https://www.python.org/downloads/release/python-353/

安装完成之后,不会覆盖原来的python,会在 /Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5文件中

在终端直接输入 python 会执行python2.7版本

python 
 
Python 2.7.12 (default, Jun 29 2016, 14:05:02) 
[GCC 4.2.1 Compatible Apple LLVM 7.3.0 (clang-703.0.31)] on darwin 
Type "help", "copyright", "credits" or "license" for more information. 
>>>

在终端直接输入 python3 则会执行python3.5版本

python3 
 
Python 3.5.3 (v3.5.3:1880cb95a742, Jan 16 2017, 08:49:46) 
[GCC 4.2.1 (Apple Inc. build 5666) (dot 3)] on darwin 
Type "help", "copyright", "credits" or "license" for more information. 
>>>

接下来就可以开始安装scrapy了

python3.5中会自带 pip,所以不需要额外安装了,可以直接在终端输入 pip3 --version查看版本和路径

pip3 --version 
 
pip 9.0.1 from /Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages (python 3.5)

使用 pip3 安装scrapy

pip3 install Scrapy

这里的Scrapy一定要首字母大写,不然会在安装的过程中报错~~

Collecting scrapy
 Retrying (Retry(total=4, connect=None, read=None, redirect=None)) after connection broken by 'NewConnectionError('<pip._vendor.requests.packages.urllib3.connection.VerifiedHTTPSConnection object at 0x103aa2c88>: Failed to establish a new connection: [Errno 61] Connection refused',)': /simple/scrapy/
 Retrying (Retry(total=3, connect=None, read=None, redirect=None)) after connection broken by 'NewConnectionError('<pip._vendor.requests.packages.urllib3.connection.VerifiedHTTPSConnection object at 0x103aa29e8>: Failed to establish a new connection: [Errno 61] Connection refused',)': /simple/scrapy/
 Retrying (Retry(total=2, connect=None, read=None, redirect=None)) after connection broken by 'NewConnectionError('<pip._vendor.requests.packages.urllib3.connection.VerifiedHTTPSConnection object at 0x103aa2630>: Failed to establish a new connection: [Errno 61] Connection refused',)': /simple/scrapy/
 Retrying (Retry(total=1, connect=None, read=None, redirect=None)) after connection broken by 'NewConnectionError('<pip._vendor.requests.packages.urllib3.connection.VerifiedHTTPSConnection object at 0x103aa2f28>: Failed to establish a new connection: [Errno 61] Connection refused',)': /simple/scrapy/
 Retrying (Retry(total=0, connect=None, read=None, redirect=None)) after connection broken by 'NewConnectionError('<pip._vendor.requests.packages.urllib3.connection.VerifiedHTTPSConnection object at 0x103aa2be0>: Failed to establish a new connection: [Errno 61] Connection refused',)': /simple/scrapy/
 Could not find a version that satisfies the requirement scrapy (from versions: )
No matching distribution found for scrapy

安装成功之后,可以直接在终端上输入 scrapy 查看版本号及使用

Scrapy 1.4.0 - no active project
Usage:
 scrapy <command> [options] [args]
Available commands:
 bench   Run quick benchmark test
 fetch   Fetch a URL using the Scrapy downloader
 genspider  Generate new spider using pre-defined templates
 runspider  Run a self-contained spider (without creating a project)
 settings  Get settings values
 shell   Interactive scraping console
 startproject Create new project
 version  Print Scrapy version
 view   Open URL in browser, as seen by Scrapy
 [ more ]  More commands available when run from project directory
Use "scrapy <command> -h" to see more info about a command

在pycharm中是没有直接创建scrapy项目的,可以使用 scrapy 命令手动新建项目

scrapy startproject ArticleSpider(ArticleSpider为项目名称)

以上这篇mac安装scrapy并创建项目的实例讲解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用Python下载Bing图片(代码)
Nov 07 Python
最基础的Python的socket编程入门教程
Apr 23 Python
python 全局变量的import机制介绍
Sep 07 Python
查找python项目依赖并生成requirements.txt的方法
Jul 10 Python
解决pyinstaller打包exe文件出现命令窗口一闪而过的问题
Oct 31 Python
python使用magic模块进行文件类型识别方法
Dec 08 Python
Python 多个图同时在不同窗口显示的实现方法
Jul 07 Python
解决Python3.8用pip安装turtle-0.0.2出现错误问题
Feb 11 Python
python让函数不返回结果的方法
Jun 22 Python
Python drop方法删除列之inplace参数实例
Jun 27 Python
Opencv实现二维直方图的计算及绘制
Jul 21 Python
pytest实现多进程与多线程运行超好用的插件
Jul 15 Python
解决Tensorflow安装成功,但在导入时报错的问题
Jun 13 #Python
基于pip install django失败时的解决方法
Jun 12 #Python
基于Python pip用国内镜像下载的方法
Jun 12 #Python
pip安装时ReadTimeoutError的解决方法
Jun 12 #Python
解决pip install的时候报错timed out的问题
Jun 12 #Python
pip install urllib2不能安装的解决方法
Jun 12 #Python
ubuntu17.4下为python和python3装上pip的方法
Jun 12 #Python
You might like
PHP SEO优化之URL优化方法
2011/04/21 PHP
使用ucenter实现多站点同步登录的讲解
2019/03/21 PHP
php无限极分类实现方法分析
2019/07/04 PHP
PHP变量的作用范围实例讲解
2020/12/22 PHP
基于JQuery的密码强度验证代码
2010/03/01 Javascript
ko knockoutjs动态属性绑定技巧应用
2012/11/14 Javascript
微信小程序 animation API详解及实例代码
2016/10/08 Javascript
D3.js实现文本的换行详解
2016/10/14 Javascript
深入理解JavaScript定时机制
2016/10/27 Javascript
ajax +NodeJS 实现图片上传实例
2017/06/06 NodeJs
javaScript canvas实现(画笔大小 颜色 橡皮的实例)
2017/11/28 Javascript
jQuery+CSS实现的table表格行列转置功能示例
2018/01/08 jQuery
opencv 识别微信登录验证滑动块位置
2018/08/07 Javascript
小程序二次贝塞尔曲线实现购物车商品曲线飞入效果
2019/01/07 Javascript
JS实现图片轮播效果实例详解【可自动和手动】
2019/04/04 Javascript
JS在Array数组中按指定位置删除或添加元素对象方法示例
2019/11/19 Javascript
vue集成openlayers加载geojson并实现点击弹窗教程
2020/09/24 Javascript
[01:28]2014DOTA2国际邀请赛中国区预选赛四大豪门直升机抵达会场
2014/05/24 DOTA
简单实现python收发邮件功能
2018/01/05 Python
python中正则表达式的使用方法
2018/02/25 Python
Spring实战之使用util:命名空间简化配置操作示例
2019/12/09 Python
python计算导数并绘图的实例
2020/02/29 Python
Python识别验证码的实现示例
2020/09/30 Python
Django admin组件的使用
2020/10/24 Python
Grid 宫格常用布局的实现
2020/01/10 HTML / CSS
canvas 下载二维码和图片加水印的方法
2018/03/21 HTML / CSS
THE OUTNET美国官网:国际设计师品牌折扣网站
2017/03/07 全球购物
Bitiba意大利:在线宠物商店
2020/10/31 全球购物
Jowissa官方网站:瑞士制造的手表,优雅简约的设计
2020/07/29 全球购物
瑞典多品牌连锁店:Johnells
2021/01/13 全球购物
英文自荐信
2013/12/15 职场文书
2014学雷锋活动总结
2014/03/09 职场文书
2015年部门工作总结范文
2015/03/31 职场文书
六一儿童节新闻稿
2015/07/17 职场文书
运动会开幕式通讯稿
2015/07/18 职场文书
初中英语教学反思范文
2016/02/15 职场文书