详解Python安装scrapy的正确姿势


Posted in Python onJune 26, 2018

运行平台:Windows

Python版本:Python3.x

IDE:Sublime text3

一、Scrapy简介

Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架,可以应用于数据挖掘,信息处理或存储历史数据等一些列的程序中。Scrapy最初就是为了网络爬取而设计的。现在,Scrapy已经推出了曾承诺过的Python3.x版本。

为什么学习Scrapy呢?它能我们更好的完成爬虫任务,自己写Python爬虫程序好比孤军奋战,而使用了Scrapy就好比手底下有了千军万马。Scrapy可以起到事半功倍(甚至好几倍*.*)的效果。所以,学习Scrapy也就显得很有必要了。

二、Scrapy安装

1.直接使用指令pip3 install scrapy,发现有诸多错误。

  • Failed building wheel for lxml
  • Microsoft Visual C++ 10.0 is required
  • Failed building twisted
  • Unable to find vcvarsall.bat

遇到的错误,如下图所示:

详解Python安装scrapy的正确姿势

详解Python安装scrapy的正确姿势

详解Python安装scrapy的正确姿势

2.解决办法

(1)在cmd中输入指令python,查看python的版本,如下:

详解Python安装scrapy的正确姿势

从上图可以看出可以看出我的Python版本为Python3.5.2-64bit。

(2)登陆http://www.lfd.uci.edu/~gohlke/pythonlibs/,Ctrl+F搜索Lxml、Twisted、Scrapy,下载对应的版本,例如:lxml-3.7.3-cp35-cp35m-win_adm64.whl,表示lxml的版本为3.7.3,对应的python版本为3.5-64bit。我下载的版本如下图所示:

详解Python安装scrapy的正确姿势

在cmd中输入DOS指令,进入下载好的whl文件夹下,例如我的三个whl文件放在了Scrapy文件夹下:

详解Python安装scrapy的正确姿势

(4)依次执行如下命令:

a.pip3 install wheel

详解Python安装scrapy的正确姿势

b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl

详解Python安装scrapy的正确姿势

c.pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

详解Python安装scrapy的正确姿势

d.pip3 install Scrapy-1.3.2-py2.py3-none-any.whl

详解Python安装scrapy的正确姿势

这样Scrapy的安装就完成了,请忽略最后两行让我升级pip的信息。*.*

(5)Srapy已经安装成功,还要下载pywin32,找到对应版本下载,一路下一步安装即可。安装完成后,就可以正常使用Scrapy了。

URL:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

详解Python安装scrapy的正确姿势

至此,大功告成,我们可以愉快的使用Scrapy了。

总结

以上所述是小编给大家介绍的Python安装scrapy的正确姿势,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
wxPython中listbox用法实例详解
Jun 01 Python
Python工程师面试题 与Python基础语法相关
Jan 14 Python
使用pyecharts无法import Bar的解决方案
Apr 23 Python
对python .txt文件读取及数据处理方法总结
Apr 23 Python
python3读取csv和xlsx文件的实例
Jun 22 Python
python中的turtle库函数简单使用教程
Jul 23 Python
Django数据库连接丢失问题的解决方法
Dec 29 Python
Python英文文章词频统计(14份剑桥真题词频统计)
Oct 13 Python
屏蔽Django admin界面添加按钮的操作
Mar 11 Python
Python获取对象属性的几种方式小结
Mar 12 Python
python3 sleep 延时秒 毫秒实例
May 04 Python
一篇文章搞懂python的转义字符及用法
Sep 03 Python
python3解析库BeautifulSoup4的安装配置与基本用法
Jun 26 #Python
Python 修改列表中的元素方法
Jun 26 #Python
Python 找到列表中满足某些条件的元素方法
Jun 26 #Python
python3解析库pyquery的深入讲解
Jun 26 #Python
Python将list中的string批量转化成int/float的方法
Jun 26 #Python
python中从str中提取元素到list以及将list转换为str的方法
Jun 26 #Python
django2+uwsgi+nginx上线部署到服务器Ubuntu16.04
Jun 26 #Python
You might like
dedecms函数分享之获取某一栏目所有子栏目
2014/05/19 PHP
php自动获取关键字的方法
2015/01/06 PHP
PHP 计算两个特别大的整数实例代码
2018/05/07 PHP
微信企业转账之入口类分装php代码
2018/10/01 PHP
THINKPHP5分页数据对象处理过程解析
2020/10/28 PHP
JavaScript中的16进制字符(改进)
2011/11/21 Javascript
JavaScript中getUTCMinutes()方法的使用详解
2015/06/10 Javascript
jquery仿百度百科底部浮动导航特效
2015/08/08 Javascript
浅谈JavaScript 中有关时间对象的方法
2016/08/15 Javascript
微信小程序 网络API 上传、下载详解
2016/11/09 Javascript
jQuery插件zTree实现单独选中根节点中第一个节点示例
2017/03/08 Javascript
bootstrap table服务端实现分页效果
2017/08/10 Javascript
微信小程序图片加载失败时替换为默认图片的方法
2019/12/09 Javascript
python实现微信发送邮件关闭电脑功能
2018/02/22 Python
Python创建普通菜单示例【基于win32ui模块】
2018/05/09 Python
python使用turtle库绘制时钟
2020/03/25 Python
PyQt4编程之让状态栏显示信息的方法
2019/06/18 Python
pytorch 常用线性函数详解
2020/01/15 Python
python3中使用__slots__限定实例属性操作分析
2020/02/14 Python
Python Selenium 设置元素等待的三种方式
2020/03/18 Python
Python tcp传输代码实例解析
2020/03/18 Python
python使用for...else跳出双层嵌套循环的方法实例
2020/05/17 Python
关于keras.layers.Conv1D的kernel_size参数使用介绍
2020/05/22 Python
python实现图片转换成素描和漫画格式
2020/08/19 Python
CSS3 清除浮动的方法示例
2018/06/01 HTML / CSS
亚马逊西班牙购物网站:amazon西班牙
2017/03/06 全球购物
Delphi笔试题
2016/11/14 面试题
通信工程专业女生个人求职信
2013/09/21 职场文书
档案室主任岗位职责
2014/02/12 职场文书
作弊检讨书
2015/01/27 职场文书
结婚纪念日感言
2015/08/01 职场文书
2016年情人节问候语
2015/11/11 职场文书
《惊弓之鸟》教学反思
2016/02/20 职场文书
CSS预处理框架——Stylus
2021/04/21 HTML / CSS
React如何创建组件
2021/06/27 Javascript
Win10服务主机占用内存怎么办?Win10服务主机进程占用大量内存解决方法
2022/09/23 数码科技