mac安装scrapy并创建项目的实例讲解


Posted in Python onJune 13, 2018

最近刚好在学习python+scrapy的爬虫技术,因为mac是自带python2.7的,所以安装3.5版本有两种方法,一种是升级,一种是额外安装3.5版本。

升级就不用说了,讲讲额外安装的版本吧~~~

因为python是有自带版本的,最开始安装的时候都会有一种“ 会不会冲突 ”的感觉。

其实安装3.5版本也就是在官网上直接下载之后安装,和普通的mac软件安装方式是一样的~~

https://www.python.org/downloads/release/python-353/

安装完成之后,不会覆盖原来的python,会在 /Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5文件中

在终端直接输入 python 会执行python2.7版本

python 
 
Python 2.7.12 (default, Jun 29 2016, 14:05:02) 
[GCC 4.2.1 Compatible Apple LLVM 7.3.0 (clang-703.0.31)] on darwin 
Type "help", "copyright", "credits" or "license" for more information. 
>>>

在终端直接输入 python3 则会执行python3.5版本

python3 
 
Python 3.5.3 (v3.5.3:1880cb95a742, Jan 16 2017, 08:49:46) 
[GCC 4.2.1 (Apple Inc. build 5666) (dot 3)] on darwin 
Type "help", "copyright", "credits" or "license" for more information. 
>>>

接下来就可以开始安装scrapy了

python3.5中会自带 pip,所以不需要额外安装了,可以直接在终端输入 pip3 --version查看版本和路径

pip3 --version 
 
pip 9.0.1 from /Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages (python 3.5)

使用 pip3 安装scrapy

pip3 install Scrapy

这里的Scrapy一定要首字母大写,不然会在安装的过程中报错~~

Collecting scrapy
 Retrying (Retry(total=4, connect=None, read=None, redirect=None)) after connection broken by 'NewConnectionError('<pip._vendor.requests.packages.urllib3.connection.VerifiedHTTPSConnection object at 0x103aa2c88>: Failed to establish a new connection: [Errno 61] Connection refused',)': /simple/scrapy/
 Retrying (Retry(total=3, connect=None, read=None, redirect=None)) after connection broken by 'NewConnectionError('<pip._vendor.requests.packages.urllib3.connection.VerifiedHTTPSConnection object at 0x103aa29e8>: Failed to establish a new connection: [Errno 61] Connection refused',)': /simple/scrapy/
 Retrying (Retry(total=2, connect=None, read=None, redirect=None)) after connection broken by 'NewConnectionError('<pip._vendor.requests.packages.urllib3.connection.VerifiedHTTPSConnection object at 0x103aa2630>: Failed to establish a new connection: [Errno 61] Connection refused',)': /simple/scrapy/
 Retrying (Retry(total=1, connect=None, read=None, redirect=None)) after connection broken by 'NewConnectionError('<pip._vendor.requests.packages.urllib3.connection.VerifiedHTTPSConnection object at 0x103aa2f28>: Failed to establish a new connection: [Errno 61] Connection refused',)': /simple/scrapy/
 Retrying (Retry(total=0, connect=None, read=None, redirect=None)) after connection broken by 'NewConnectionError('<pip._vendor.requests.packages.urllib3.connection.VerifiedHTTPSConnection object at 0x103aa2be0>: Failed to establish a new connection: [Errno 61] Connection refused',)': /simple/scrapy/
 Could not find a version that satisfies the requirement scrapy (from versions: )
No matching distribution found for scrapy

安装成功之后,可以直接在终端上输入 scrapy 查看版本号及使用

Scrapy 1.4.0 - no active project
Usage:
 scrapy <command> [options] [args]
Available commands:
 bench   Run quick benchmark test
 fetch   Fetch a URL using the Scrapy downloader
 genspider  Generate new spider using pre-defined templates
 runspider  Run a self-contained spider (without creating a project)
 settings  Get settings values
 shell   Interactive scraping console
 startproject Create new project
 version  Print Scrapy version
 view   Open URL in browser, as seen by Scrapy
 [ more ]  More commands available when run from project directory
Use "scrapy <command> -h" to see more info about a command

在pycharm中是没有直接创建scrapy项目的,可以使用 scrapy 命令手动新建项目

scrapy startproject ArticleSpider(ArticleSpider为项目名称)

以上这篇mac安装scrapy并创建项目的实例讲解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python处理PDF及生成多层PDF实例代码
Apr 24 Python
python读取xlsx的方法
Dec 25 Python
Python面向对象进阶学习
May 21 Python
python tkinter窗口最大化的实现
Jul 15 Python
pytorch多进程加速及代码优化方法
Aug 19 Python
python 实现将小图片放到另一个较大的白色或黑色背景图片中
Dec 12 Python
Python文本处理简单易懂方法解析
Dec 19 Python
python中format函数如何使用
Jun 22 Python
详解pytorch tensor和ndarray转换相关总结
Sep 03 Python
Python在线和离线安装第三方库的方法
Oct 31 Python
Python虚拟环境virtualenv创建及使用过程图解
Dec 08 Python
基于tensorflow __init__、build 和call的使用小结
Feb 26 Python
解决Tensorflow安装成功,但在导入时报错的问题
Jun 13 #Python
基于pip install django失败时的解决方法
Jun 12 #Python
基于Python pip用国内镜像下载的方法
Jun 12 #Python
pip安装时ReadTimeoutError的解决方法
Jun 12 #Python
解决pip install的时候报错timed out的问题
Jun 12 #Python
pip install urllib2不能安装的解决方法
Jun 12 #Python
ubuntu17.4下为python和python3装上pip的方法
Jun 12 #Python
You might like
javascript some()函数用法详解
2014/11/13 PHP
php数组和链表的区别总结
2019/09/20 PHP
jQuery入门第一课 jQuery选择符
2010/03/14 Javascript
与jquery serializeArray()一起使用的函数,主要来方便提交表单
2011/01/31 Javascript
JAVASCRIPT函数作用域和提前声明 分享
2013/08/22 Javascript
JS实现点击链接取消跳转效果的方法
2014/01/24 Javascript
js创建对象的方式总结
2015/01/10 Javascript
JavaScript提升性能的常用技巧总结【经典】
2016/06/20 Javascript
详细解读Jquery各Ajax函数($.get(),$.post(),$.ajax(),$.getJSON())
2016/08/15 Javascript
js实现文字截断功能
2016/09/14 Javascript
BootStrap入门教程(一)之可视化布局
2016/09/19 Javascript
ES6中Iterator与for..of..遍历用法分析
2017/03/31 Javascript
vue+element实现批量删除功能的示例
2018/02/28 Javascript
微信小程序上传图片功能(附后端代码)
2020/06/19 Javascript
angular6.x中ngTemplateOutlet指令的使用示例
2018/08/09 Javascript
vuex直接赋值的三种方法总结
2018/09/16 Javascript
js将日期格式转换为YYYY-MM-DD HH:MM:SS
2020/09/18 Javascript
JavaScript中的几种继承方法示例
2020/12/06 Javascript
[46:55]完美世界DOTA2联赛决赛 FTD vs Phoenix 第三场 11.08
2020/11/11 DOTA
Anaconda 离线安装 python 包的操作方法
2018/06/11 Python
python3基于TCP实现CS架构文件传输
2018/07/28 Python
python 自定义对象的打印方法
2019/01/12 Python
解决.ui文件生成的.py文件运行不出现界面的方法
2019/06/19 Python
python二元表达式用法
2019/12/04 Python
Python 操作SQLite数据库的示例
2020/10/16 Python
斯图尔特·韦茨曼鞋加拿大官网:Stuart Weitzman加拿大
2019/10/13 全球购物
个人作风剖析材料
2014/02/02 职场文书
《要下雨了》教学反思
2014/02/17 职场文书
2014年教师党员公开承诺书
2014/05/28 职场文书
乡镇干部个人对照检查材料思想汇报
2014/10/04 职场文书
工作检讨书500字
2014/10/19 职场文书
2016年6月份红领巾广播稿
2015/12/21 职场文书
2016年社区综治宣传月活动总结
2016/03/16 职场文书
协议书格式模板
2016/03/24 职场文书
SQL模糊查询报:ORA-00909:参数个数无效问题的解决
2021/06/21 Oracle
CentOS7安装MySQL8的超级详细教程(无坑!)
2022/06/10 Servers