Python2.7下安装Scrapy框架步骤教程


Posted in Python onDecember 22, 2017

由于毕业设计的要求,需要在网站上抓取大量的数据,那么使用Scrapy框架可以让这一过程变得简单不少,毕竟Scrapy是一个为了爬去网站数据、提取结构性数据而编写的应用框架。于是,便开始了我的安装Scrapy框架之旅。可以说这个过程并不是很愉快,各种错误各种出,不过到最后,终于安装上了Scrapy框架。下面总结一下我的Scrapy框架的安装。

1.安装python2.7

由于Scrapy不支持Python3.0,于是我卸载了Python3.0,又重新安装了Python2.7(python2.7安装包),在安装Python2.7的时候,会有一个自动设置环境变量的选项,建议在这里将选项选上,省下后期自己添加环境变量。我们后期自己添加环境变量,就是根据自己实际安装的路径,在系统的环境变量path中添加这两条语句就可以。

Python2.7下安装Scrapy框架步骤教程

在配置完环境之后,我们测试一下我们是否安装配置环境成功。只要在cmd中输入 python ?version ,然后能够显示正确的python版本就可以了。如果未能显示,则重启一下cmd试试。

Python2.7下安装Scrapy框架步骤教程

2.安装pywin32

在安装配置好python2.7之后,我们还不能直接安装Scrapy,我们首先需要安装Scrapy依赖的几个工具。接下来安装pywin32(pywin32安装包),这个软件安装的时候一直next就可以了。

3.安装pip

pip实际上一款比较方便的在线软件安装工具,类似于easy install,我们现在安装pip,在之后的软件安装的时候我们就可以使用 pip install 命令了。首先我们要下载get-pip.py(get-pip.py文件) ,下载完成之后,我们在cmd下进行安装,首先切换到文件所在目录,然后输入python get-pip.py语句,便可以进行安装了,但是最头疼的问题出现了,由于该文件会将一些配置文件自动写入到我们的C盘用户文件目录下,而我的用户目录是中文名,就会产生编码异常。

Python2.7下安装Scrapy框架步骤教程

在查找一番资料之后,终于将问题解决了,为了解决中文路径的问题,我们只需要在 D:\python27\Lib\site-packages的目录下新建一个名为
sitecustomize.py的文件即可。

Python2.7下安装Scrapy框架步骤教程

然后在文件内输入以下代码:

import sys
reload(sys)
sys.setdefaultencoding('gbk')

当然不一定一定要设置为gbk编码,这个根据自己的电脑的编码来设置。这样我们的中文路径问题就算解决了,我们在重启cmd,在执行安装pip语句之后,pip便顺利完成了。安装完成之后,我们可以进行一下检验,在cmd中输入pip ?version,如果显示正确的版本号则说明正确。

Python2.7下安装Scrapy框架步骤教程

4.安装lxml

在安装完成pip之后,本想可以轻松的使用pip install lxml命令来进行安装,但是意外发生了,由于使用pip需要vc2008的环境,而且只能是2008的,2013的都不行。没办法为了使用这款工具,只能在去求教度娘,终于找到了解决办法,原来微软给我们提供了VcForPython(VCForPython安装包),这样我们就不用安装VC2008了,这样之后,我们便可以使用 pip install lxml进行安装了。

5.安装pyOpenSSL

在安装这个工具的时候我们便可以使用 pip install pyOpenSSL 语句来进行安装了,安装的速度取决于网速了。

6.安装Scrapy

终于经历一波坎坷之后,我们终于可以安装Scrapy框架了,在cmd中输入 pip install Scrapy命令之后,我们就可以等着享受成功的喜悦了。在安装完成之后,我们在cmd中输入Scrapy来检测一下,是否真正的安装成功。

Python2.7下安装Scrapy框架步骤教程

终于安装好了,还是有点成就感的。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
win8下python3.4安装和环境配置图文教程
Jul 31 Python
pandas pivot_table() 按日期分多列数据的方法
Nov 16 Python
Python+OpenCV图片局部区域像素值处理详解
Jan 23 Python
python Gunicorn服务器使用方法详解
Jul 22 Python
浅析Python 引号、注释、字符串
Jul 25 Python
python使用正则表达式去除中文文本多余空格,保留英文之间空格方法详解
Feb 11 Python
python GUI库图形界面开发之PyQt5信号与槽多窗口数据传递详细使用方法与实例
Mar 08 Python
Python如何输出整数
Jun 07 Python
Python中json.load()和json.loads()有哪些区别
Jun 07 Python
Python道路车道线检测的实现
Jun 27 Python
python中出现invalid syntax报错的几种原因分析
Feb 12 Python
Django基础CBV装饰器和中间件
Mar 22 Python
Python机器学习之决策树算法
Dec 22 #Python
python+selenium实现登录账户后自动点击的示例
Dec 22 #Python
python实现决策树
Dec 21 #Python
python利用sklearn包编写决策树源代码
Dec 21 #Python
python实现决策树分类算法
Dec 21 #Python
Python语言描述机器学习之Logistic回归算法
Dec 21 #Python
python Crypto模块的安装与使用方法
Dec 21 #Python
You might like
针对初学PHP者的疑难问答(2)
2006/10/09 PHP
c#中的实现php中的preg_replace
2009/12/21 PHP
解析在apache里面给php写虚拟目录的详细方法
2013/06/24 PHP
关于PHP自动判断字符集并转码的详解
2013/06/26 PHP
学习php设计模式 php实现观察者模式(Observer)
2015/12/09 PHP
PHP7之Mongodb API使用详解
2015/12/26 PHP
Javascript 事件流和事件绑定
2009/07/16 Javascript
输入自动提示搜索提示功能的javascript:sugggestion.js
2013/09/02 Javascript
关于js内存泄露的一个好例子
2013/12/09 Javascript
jQuery获取动态生成的元素示例
2014/06/15 Javascript
jQuery实现点击小图显示大图代码分享
2015/08/25 Javascript
原生js和jQuery实现淡入淡出轮播效果
2015/12/25 Javascript
Bootstrap学习笔记之环境配置(1)
2016/12/07 Javascript
vue绑定设置属性的多种方式(5)
2017/08/16 Javascript
vue2+el-menu实现路由跳转及当前项的设置方法实例
2017/11/07 Javascript
javascript中UMD规范的代码推演
2018/08/29 Javascript
微信小程序开发技巧汇总
2019/07/15 Javascript
如何换个角度使用VUE过滤器详解
2019/09/11 Javascript
Vue.js自定义指令学习使用详解
2019/10/19 Javascript
vue新建项目并配置标准路由过程解析
2019/12/09 Javascript
vue抽出组件并传值实例
2020/07/31 Javascript
python基础教程之字典操作详解
2014/03/25 Python
python比较2个xml内容的方法
2015/05/11 Python
Python复数属性和方法运算操作示例
2017/07/21 Python
机器学习python实战之决策树
2017/11/01 Python
一行Python代码过滤标点符号等特殊字符
2019/08/12 Python
Django 导出项目依赖库到 requirements.txt过程解析
2019/08/23 Python
Python处理session的方法整理
2019/08/29 Python
Python实现列表中非负数保留,负数转化为指定的数值方式
2020/06/04 Python
python实现暗通道去雾算法的示例
2020/09/27 Python
如何一键升级Python所有包
2020/11/05 Python
HTML5 和小程序实现拍照图片旋转、压缩和上传功能
2018/10/08 HTML / CSS
详解使用postMessage解决iframe跨域通信问题
2019/11/01 HTML / CSS
最新销售员个人自荐信
2013/09/21 职场文书
大学生军训自我评价分享
2013/11/09 职场文书
小学英语教学反思案例
2014/02/04 职场文书