详解Python安装scrapy的正确姿势


Posted in Python onJune 26, 2018

运行平台:Windows

Python版本:Python3.x

IDE:Sublime text3

一、Scrapy简介

Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架,可以应用于数据挖掘,信息处理或存储历史数据等一些列的程序中。Scrapy最初就是为了网络爬取而设计的。现在,Scrapy已经推出了曾承诺过的Python3.x版本。

为什么学习Scrapy呢?它能我们更好的完成爬虫任务,自己写Python爬虫程序好比孤军奋战,而使用了Scrapy就好比手底下有了千军万马。Scrapy可以起到事半功倍(甚至好几倍*.*)的效果。所以,学习Scrapy也就显得很有必要了。

二、Scrapy安装

1.直接使用指令pip3 install scrapy,发现有诸多错误。

  • Failed building wheel for lxml
  • Microsoft Visual C++ 10.0 is required
  • Failed building twisted
  • Unable to find vcvarsall.bat

遇到的错误,如下图所示:

详解Python安装scrapy的正确姿势

详解Python安装scrapy的正确姿势

详解Python安装scrapy的正确姿势

2.解决办法

(1)在cmd中输入指令python,查看python的版本,如下:

详解Python安装scrapy的正确姿势

从上图可以看出可以看出我的Python版本为Python3.5.2-64bit。

(2)登陆http://www.lfd.uci.edu/~gohlke/pythonlibs/,Ctrl+F搜索Lxml、Twisted、Scrapy,下载对应的版本,例如:lxml-3.7.3-cp35-cp35m-win_adm64.whl,表示lxml的版本为3.7.3,对应的python版本为3.5-64bit。我下载的版本如下图所示:

详解Python安装scrapy的正确姿势

在cmd中输入DOS指令,进入下载好的whl文件夹下,例如我的三个whl文件放在了Scrapy文件夹下:

详解Python安装scrapy的正确姿势

(4)依次执行如下命令:

a.pip3 install wheel

详解Python安装scrapy的正确姿势

b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl

详解Python安装scrapy的正确姿势

c.pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

详解Python安装scrapy的正确姿势

d.pip3 install Scrapy-1.3.2-py2.py3-none-any.whl

详解Python安装scrapy的正确姿势

这样Scrapy的安装就完成了,请忽略最后两行让我升级pip的信息。*.*

(5)Srapy已经安装成功,还要下载pywin32,找到对应版本下载,一路下一步安装即可。安装完成后,就可以正常使用Scrapy了。

URL:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

详解Python安装scrapy的正确姿势

至此,大功告成,我们可以愉快的使用Scrapy了。

总结

以上所述是小编给大家介绍的Python安装scrapy的正确姿势,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
如何解决django配置settings时遇到Could not import settings 'conf.local'
Nov 18 Python
python创建和删除目录的方法
Apr 29 Python
微信跳一跳辅助python代码实现
Jan 05 Python
Python实现的栈(Stack)
Jan 26 Python
python pandas库的安装和创建
Jan 10 Python
Python3.5 Pandas模块之Series用法实例分析
Apr 23 Python
pyqt5移动鼠标显示坐标的方法
Jun 21 Python
python元组的概念知识点
Nov 19 Python
python爬虫学习笔记之pyquery模块基本用法详解
Apr 09 Python
python中导入 train_test_split提示错误的解决
Jun 19 Python
Python使用Kubernetes API访问集群
May 30 Python
利用Python第三方库实现预测NBA比赛结果
Jun 21 Python
python3解析库BeautifulSoup4的安装配置与基本用法
Jun 26 #Python
Python 修改列表中的元素方法
Jun 26 #Python
Python 找到列表中满足某些条件的元素方法
Jun 26 #Python
python3解析库pyquery的深入讲解
Jun 26 #Python
Python将list中的string批量转化成int/float的方法
Jun 26 #Python
python中从str中提取元素到list以及将list转换为str的方法
Jun 26 #Python
django2+uwsgi+nginx上线部署到服务器Ubuntu16.04
Jun 26 #Python
You might like
PHP 如何向 MySQL 发送数据
2006/10/09 PHP
thinkphp模板继承实例简述
2014/11/26 PHP
php获取用户浏览器版本的方法
2015/01/03 PHP
php中实现用数组妩媚地生成要执行的sql语句
2015/07/10 PHP
Laravel实现自定义错误输出内容的方法
2016/10/10 PHP
php常用经典函数集锦【数组、字符串、栈、队列、排序等】
2019/08/23 PHP
解决laravel 出现ajax请求419(unknown status)的问题
2019/09/03 PHP
JS遮罩层效果 兼容ie firefox jQuery遮罩层
2010/07/26 Javascript
实现非常简单的js双向数据绑定
2015/11/06 Javascript
jQuery validate验证插件使用详解
2016/05/11 Javascript
仅一个form表单 js实现注册信息依次填写提交功能
2016/06/12 Javascript
jQuery删除节点用法示例(remove方法)
2016/09/08 Javascript
JavaScript实现动态增删表格的方法
2017/03/09 Javascript
JS实现页面打印功能
2017/03/16 Javascript
JavaScript获取URL参数的方法之一
2017/03/24 Javascript
详谈jQuery.load()和Jsp的include的区别
2017/04/12 jQuery
Node.js创建Web、TCP服务器
2017/12/05 Javascript
js脚本中执行java后台代码方法解析
2019/10/11 Javascript
让Python代码更快运行的5种方法
2015/06/21 Python
Python程序中的观察者模式结构编写示例
2016/05/27 Python
基于python的Tkinter编写登陆注册界面
2017/06/30 Python
Python虚拟环境项目实例
2017/11/20 Python
python3实现磁盘空间监控
2018/06/21 Python
详解python项目实战:模拟登陆CSDN
2019/04/04 Python
python网络编程:socketserver的基本使用方法实例分析
2020/04/09 Python
html2canvas截图空白问题的解决
2020/03/24 HTML / CSS
SEPHORA新西兰官方网站:购买化妆品和护肤品
2016/12/02 全球购物
美国市场上最实惠的送餐服务:Dinnerly
2018/03/18 全球购物
英国家庭和商业健身器材购物网站:Fitness Options
2018/07/05 全球购物
颇特女士香港官网:NET-A-PORTER香港
2021/03/08 全球购物
应届生如何写自荐信
2014/01/05 职场文书
学生会个人自荐书范文
2014/02/12 职场文书
学校后勤岗位职责
2014/02/19 职场文书
任命书怎么写
2014/06/04 职场文书
运动会口号8字
2014/06/07 职场文书
财产保全担保书
2015/01/20 职场文书