Python2.7下安装Scrapy框架步骤教程


Posted in Python onDecember 22, 2017

由于毕业设计的要求,需要在网站上抓取大量的数据,那么使用Scrapy框架可以让这一过程变得简单不少,毕竟Scrapy是一个为了爬去网站数据、提取结构性数据而编写的应用框架。于是,便开始了我的安装Scrapy框架之旅。可以说这个过程并不是很愉快,各种错误各种出,不过到最后,终于安装上了Scrapy框架。下面总结一下我的Scrapy框架的安装。

1.安装python2.7

由于Scrapy不支持Python3.0,于是我卸载了Python3.0,又重新安装了Python2.7(python2.7安装包),在安装Python2.7的时候,会有一个自动设置环境变量的选项,建议在这里将选项选上,省下后期自己添加环境变量。我们后期自己添加环境变量,就是根据自己实际安装的路径,在系统的环境变量path中添加这两条语句就可以。

Python2.7下安装Scrapy框架步骤教程

在配置完环境之后,我们测试一下我们是否安装配置环境成功。只要在cmd中输入 python ?version ,然后能够显示正确的python版本就可以了。如果未能显示,则重启一下cmd试试。

Python2.7下安装Scrapy框架步骤教程

2.安装pywin32

在安装配置好python2.7之后,我们还不能直接安装Scrapy,我们首先需要安装Scrapy依赖的几个工具。接下来安装pywin32(pywin32安装包),这个软件安装的时候一直next就可以了。

3.安装pip

pip实际上一款比较方便的在线软件安装工具,类似于easy install,我们现在安装pip,在之后的软件安装的时候我们就可以使用 pip install 命令了。首先我们要下载get-pip.py(get-pip.py文件) ,下载完成之后,我们在cmd下进行安装,首先切换到文件所在目录,然后输入python get-pip.py语句,便可以进行安装了,但是最头疼的问题出现了,由于该文件会将一些配置文件自动写入到我们的C盘用户文件目录下,而我的用户目录是中文名,就会产生编码异常。

Python2.7下安装Scrapy框架步骤教程

在查找一番资料之后,终于将问题解决了,为了解决中文路径的问题,我们只需要在 D:\python27\Lib\site-packages的目录下新建一个名为
sitecustomize.py的文件即可。

Python2.7下安装Scrapy框架步骤教程

然后在文件内输入以下代码:

import sys
reload(sys)
sys.setdefaultencoding('gbk')

当然不一定一定要设置为gbk编码,这个根据自己的电脑的编码来设置。这样我们的中文路径问题就算解决了,我们在重启cmd,在执行安装pip语句之后,pip便顺利完成了。安装完成之后,我们可以进行一下检验,在cmd中输入pip ?version,如果显示正确的版本号则说明正确。

Python2.7下安装Scrapy框架步骤教程

4.安装lxml

在安装完成pip之后,本想可以轻松的使用pip install lxml命令来进行安装,但是意外发生了,由于使用pip需要vc2008的环境,而且只能是2008的,2013的都不行。没办法为了使用这款工具,只能在去求教度娘,终于找到了解决办法,原来微软给我们提供了VcForPython(VCForPython安装包),这样我们就不用安装VC2008了,这样之后,我们便可以使用 pip install lxml进行安装了。

5.安装pyOpenSSL

在安装这个工具的时候我们便可以使用 pip install pyOpenSSL 语句来进行安装了,安装的速度取决于网速了。

6.安装Scrapy

终于经历一波坎坷之后,我们终于可以安装Scrapy框架了,在cmd中输入 pip install Scrapy命令之后,我们就可以等着享受成功的喜悦了。在安装完成之后,我们在cmd中输入Scrapy来检测一下,是否真正的安装成功。

Python2.7下安装Scrapy框架步骤教程

终于安装好了,还是有点成就感的。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中文乱码的解决方法
Nov 04 Python
Python序列化基础知识(json/pickle)
Oct 19 Python
python画出三角形外接圆和内切圆的方法
Jan 25 Python
python解析json串与正则匹配对比方法
Dec 20 Python
Python函数的默认参数设计示例详解
Dec 01 Python
详解Python修复遥感影像条带的两种方式
Feb 23 Python
对python中各个response的使用说明
Mar 28 Python
超级实用的8个Python列表技巧
Aug 24 Python
Pandas替换及部分替换(replace)实现流程详解
Oct 12 Python
Python常用扩展插件使用教程解析
Nov 02 Python
使用python画出逻辑斯蒂映射(logistic map)中的分叉图案例
Dec 11 Python
详解Python中openpyxl模块基本用法
Feb 23 Python
Python机器学习之决策树算法
Dec 22 #Python
python+selenium实现登录账户后自动点击的示例
Dec 22 #Python
python实现决策树
Dec 21 #Python
python利用sklearn包编写决策树源代码
Dec 21 #Python
python实现决策树分类算法
Dec 21 #Python
Python语言描述机器学习之Logistic回归算法
Dec 21 #Python
python Crypto模块的安装与使用方法
Dec 21 #Python
You might like
PHP编程网上资源导航
2006/10/09 PHP
PHP调用VC编写的COM组件实例
2014/03/29 PHP
ThinkPHP模板自定义标签使用方法
2014/06/26 PHP
PHP去掉json字符串中的反斜杠\及去掉双引号前的反斜杠
2015/09/30 PHP
JavaScript 高级篇之函数 (四)
2012/04/07 Javascript
Jjcarousellite 实现图片列表滚动的简单实例
2013/11/29 Javascript
node.js中的fs.unlink方法使用说明
2014/12/15 Javascript
深入理解JavaScript系列(30):设计模式之外观模式详解
2015/03/03 Javascript
浅谈document.write()输出样式
2015/05/07 Javascript
js实现拖拽效果(构造函数)
2015/12/14 Javascript
jquery 手势密码插件
2017/03/17 Javascript
关于Vue.nextTick()的正确使用方法浅析
2017/08/25 Javascript
浅谈vuex 闲置状态重置方案
2018/01/04 Javascript
js中apply()和call()的区别与用法实例分析
2018/08/14 Javascript
Vue项目引进ElementUI组件的方法
2018/11/11 Javascript
如何在vue里面优雅的解决跨域(路由冲突问题)
2019/01/20 Javascript
微信小程序自定义底部弹出框动画
2020/11/18 Javascript
8个非常实用的Vue自定义指令
2020/12/15 Vue.js
[50:38]DOTA2-DPC中国联赛 正赛 Phoenix vs CDEC BO3 第二场 3月7日
2021/03/11 DOTA
python如何通过protobuf实现rpc
2016/03/06 Python
Python实现ssh批量登录并执行命令
2016/10/25 Python
python按比例随机切分数据的实现
2019/07/11 Python
使用pickle存储数据dump 和 load实例讲解
2019/12/30 Python
python对文件的操作方法汇总
2020/02/28 Python
Python自动采集微信联系人的实现示例
2020/02/28 Python
利用Python脚本批量生成SQL语句
2020/03/04 Python
python跨文件使用全局变量的实现
2020/11/17 Python
美国乡村商店:Plow & Hearth
2016/09/12 全球购物
美国领先的商务贺卡出版商:The Gallery Collection
2018/02/13 全球购物
办公室副主任岗位职责
2013/11/25 职场文书
个人综合鉴定材料
2014/05/23 职场文书
国庆节活动总结
2014/08/26 职场文书
机关职员工作检讨书
2014/10/23 职场文书
八年级上册语文教学计划
2015/01/22 职场文书
党员违纪检讨书
2015/05/05 职场文书
Python开发五子棋小游戏
2022/04/28 Python