Python2.7下安装Scrapy框架步骤教程


Posted in Python onDecember 22, 2017

由于毕业设计的要求,需要在网站上抓取大量的数据,那么使用Scrapy框架可以让这一过程变得简单不少,毕竟Scrapy是一个为了爬去网站数据、提取结构性数据而编写的应用框架。于是,便开始了我的安装Scrapy框架之旅。可以说这个过程并不是很愉快,各种错误各种出,不过到最后,终于安装上了Scrapy框架。下面总结一下我的Scrapy框架的安装。

1.安装python2.7

由于Scrapy不支持Python3.0,于是我卸载了Python3.0,又重新安装了Python2.7(python2.7安装包),在安装Python2.7的时候,会有一个自动设置环境变量的选项,建议在这里将选项选上,省下后期自己添加环境变量。我们后期自己添加环境变量,就是根据自己实际安装的路径,在系统的环境变量path中添加这两条语句就可以。

Python2.7下安装Scrapy框架步骤教程

在配置完环境之后,我们测试一下我们是否安装配置环境成功。只要在cmd中输入 python ?version ,然后能够显示正确的python版本就可以了。如果未能显示,则重启一下cmd试试。

Python2.7下安装Scrapy框架步骤教程

2.安装pywin32

在安装配置好python2.7之后,我们还不能直接安装Scrapy,我们首先需要安装Scrapy依赖的几个工具。接下来安装pywin32(pywin32安装包),这个软件安装的时候一直next就可以了。

3.安装pip

pip实际上一款比较方便的在线软件安装工具,类似于easy install,我们现在安装pip,在之后的软件安装的时候我们就可以使用 pip install 命令了。首先我们要下载get-pip.py(get-pip.py文件) ,下载完成之后,我们在cmd下进行安装,首先切换到文件所在目录,然后输入python get-pip.py语句,便可以进行安装了,但是最头疼的问题出现了,由于该文件会将一些配置文件自动写入到我们的C盘用户文件目录下,而我的用户目录是中文名,就会产生编码异常。

Python2.7下安装Scrapy框架步骤教程

在查找一番资料之后,终于将问题解决了,为了解决中文路径的问题,我们只需要在 D:\python27\Lib\site-packages的目录下新建一个名为
sitecustomize.py的文件即可。

Python2.7下安装Scrapy框架步骤教程

然后在文件内输入以下代码:

import sys
reload(sys)
sys.setdefaultencoding('gbk')

当然不一定一定要设置为gbk编码,这个根据自己的电脑的编码来设置。这样我们的中文路径问题就算解决了,我们在重启cmd,在执行安装pip语句之后,pip便顺利完成了。安装完成之后,我们可以进行一下检验,在cmd中输入pip ?version,如果显示正确的版本号则说明正确。

Python2.7下安装Scrapy框架步骤教程

4.安装lxml

在安装完成pip之后,本想可以轻松的使用pip install lxml命令来进行安装,但是意外发生了,由于使用pip需要vc2008的环境,而且只能是2008的,2013的都不行。没办法为了使用这款工具,只能在去求教度娘,终于找到了解决办法,原来微软给我们提供了VcForPython(VCForPython安装包),这样我们就不用安装VC2008了,这样之后,我们便可以使用 pip install lxml进行安装了。

5.安装pyOpenSSL

在安装这个工具的时候我们便可以使用 pip install pyOpenSSL 语句来进行安装了,安装的速度取决于网速了。

6.安装Scrapy

终于经历一波坎坷之后,我们终于可以安装Scrapy框架了,在cmd中输入 pip install Scrapy命令之后,我们就可以等着享受成功的喜悦了。在安装完成之后,我们在cmd中输入Scrapy来检测一下,是否真正的安装成功。

Python2.7下安装Scrapy框架步骤教程

终于安装好了,还是有点成就感的。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
跟老齐学Python之print详解
Sep 28 Python
查看Python安装路径以及安装包路径小技巧
Apr 28 Python
python删除列表中重复记录的方法
Apr 28 Python
python回调函数用法实例分析
May 09 Python
Python的Django框架中的Context使用
Jul 15 Python
详细解读Python中解析XML数据的方法
Oct 15 Python
Python编写简单的HTML页面合并脚本
Jul 11 Python
python如何制作英文字典
Jun 25 Python
Python Django的安装配置教程图文详解
Jul 17 Python
信号生成及DFT的python实现方式
Feb 25 Python
Python爬虫开发与项目实战
Dec 16 Python
matplotlib 使用 plt.savefig() 输出图片去除旁边的空白区域
Jan 05 Python
Python机器学习之决策树算法
Dec 22 #Python
python+selenium实现登录账户后自动点击的示例
Dec 22 #Python
python实现决策树
Dec 21 #Python
python利用sklearn包编写决策树源代码
Dec 21 #Python
python实现决策树分类算法
Dec 21 #Python
Python语言描述机器学习之Logistic回归算法
Dec 21 #Python
python Crypto模块的安装与使用方法
Dec 21 #Python
You might like
php后门URL的防范
2013/11/12 PHP
PHP获取数组长度或某个值出现次数的方法
2015/02/11 PHP
php中文验证码实现方法
2015/06/18 PHP
详解php命令注入攻击
2019/04/06 PHP
window.opener用法和用途实例介绍
2013/08/19 Javascript
JavaScript闭包函数访问外部变量的方法
2014/08/27 Javascript
九种原生js动画效果
2015/11/11 Javascript
Web开发必知Javascript技巧大全
2016/02/23 Javascript
javascript的正则匹配方法学习
2016/02/24 Javascript
JavaScript定义数组的三种方法(new Array(),new Array('x','y')
2016/10/04 Javascript
angular实现表单验证及提交功能
2017/02/01 Javascript
元素全屏的设置与监听实例
2017/11/28 Javascript
Node.js+Vue脚手架环境搭建的方法步骤
2020/03/08 Javascript
vue+swiper实现左右滑动的测试题功能
2020/10/30 Javascript
[04:19]完美世界携手游戏风云打造 卡尔工作室模型介绍篇
2013/04/24 DOTA
python获取android设备的GPS信息脚本分享
2015/03/06 Python
简单学习Python多进程Multiprocessing
2017/08/29 Python
python操作redis方法总结
2018/06/06 Python
深入了解python中元类的相关知识
2019/08/29 Python
Python定时器线程池原理详解
2020/02/26 Python
Python2.7:使用Pyhook模块监听鼠标键盘事件-获取坐标实例
2020/03/14 Python
pycharm 关掉syntax检查操作
2020/06/09 Python
使用Python实现NBA球员数据查询小程序功能
2020/11/09 Python
python中函数返回多个结果的实例方法
2020/12/16 Python
以色列的身体护理及家居香薰品牌:Sabon NYC
2018/02/23 全球购物
世界上最大的艺术社区:SAA
2020/12/30 全球购物
sort命令的作用和用法
2013/08/25 面试题
Java面试笔试题大全
2016/11/23 面试题
自荐信格式简述
2014/01/25 职场文书
六查六看剖析材料
2014/10/06 职场文书
好好学习保证书
2015/02/26 职场文书
2015年效能监察工作总结
2015/04/23 职场文书
2015年幼儿园个人工作总结
2015/04/25 职场文书
外出学习心得体会范文
2016/01/18 职场文书
Python torch.flatten()函数案例详解
2021/08/30 Python
MySQL索引 高效获取数据的数据结构
2022/05/02 MySQL