Python3环境安装Scrapy爬虫框架过程及常见错误


Posted in Python onJuly 12, 2019

Windows

•安装lxml

最好的安装方式是通过wheel文件来安装,http://www.lfd.uci.edu/~gohlke/pythonlibs/,从该网站找到lxml的相关文件。假如是Python3.5版本,WIndows 64位系统,那就找到lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl 这个文件并下载,然后通过pip安装。

下载之后,运行如下命令安装:

pip3 install wheel
pip3 install lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl

即可完成lxml的安装,其他文件替换文件名即可。

•安装zope.interface

到官方网站https://pypi.python.org/pypi/zope.interface#downloads下载对应版本的wheel文件,然后pip安装。比如Python 3.5版本,Windows 64位系统,就下载zope.interface-4.3.3-cp35-cp35m-win_amd64.whl

然后安装wheel文件即可,命令如下:

pip3 install zope.interface-4.3.3-cp35-cp35m-win_amd64.whl

其他版本替换文件名即可。

•安装pyOpenSSL

官方网站下载wheel文件,https://pypi.python.org/pypi/pyOpenSSL#downloads,如当前最新版本名称是pyOpenSSL-16.2.0-py2.py3-none-any.whl,下载后安装即可。

pip3 install pyOpenSSL-16.2.0-py2.py3-none-any.whl

•安装Twisted

同理,http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载wheel文件,利用pip安装即可。

如Python 3.5版本,Windows 64位系统,下载

Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl,然后pip安装。

pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl

•安装pywin32

从官方网站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下载对应版本的安装包安装即可。

•安装Scrapy

最后安装Scrapy即可,依然使用pip,命令如下:

pip3 install Scrapy

ps:下面看下Python 3.6 安装scrapy报错 Python.h: 没有那个文件或目录

安装scrapy的时候报错,其实这个错误是一个间接,由其依赖引起。

如果你是Python2.X  

sudo apt-get install python-dev

如果是python3.6 以下的

sudo apt-get install python3-dev

如果是Python3.6的

sudo apt-get install python3.6-dev

最后一个好变态,我一直在更新自己的Python3-dev 一直报错,最后猜一下竟然真的有Python3.6-dev...心累.

总结

以上所述是小编给大家介绍的Python3环境安装Scrapy爬虫框架过程及常见错误,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python数据结构之单链表详解
Sep 12 Python
使用pandas读取csv文件的指定列方法
Apr 21 Python
Python并发之多进程的方法实例代码
Aug 15 Python
python提取包含关键字的整行数据方法
Dec 11 Python
PyCharm在新窗口打开项目的方法
Jan 17 Python
python 机器学习之支持向量机非线性回归SVR模型
Jun 26 Python
python2使用bs4爬取腾讯社招过程解析
Aug 14 Python
python selenium循环登陆网站的实现
Nov 04 Python
Python任务自动化工具tox使用教程
Mar 17 Python
python实现FTP文件传输的方法(服务器端和客户端)
Mar 20 Python
使用Nibabel库对nii格式图像的读写操作
Jul 01 Python
用Python将库打包发布到pypi
Apr 13 Python
Django中celery执行任务结果的保存方法
Jul 12 #Python
python hough变换检测直线的实现方法
Jul 12 #Python
Python实现的远程文件自动打包并下载功能示例
Jul 12 #Python
完美解决python3.7 pip升级 拒绝访问问题
Jul 12 #Python
在交互式环境中执行Python程序过程详解
Jul 12 #Python
pip指定python位置安装软件包的方法
Jul 12 #Python
python使用Pandas库提升项目的运行速度过程详解
Jul 12 #Python
You might like
PHP+Ajax实时自动检测是否联网的方法
2015/07/01 PHP
Laravel Intervention/image图片处理扩展包的安装、使用与可能遇到的坑详解
2017/11/14 PHP
Laravel框架执行原生SQL语句及使用paginate分页的方法
2018/08/17 PHP
详解php命令注入攻击
2019/04/06 PHP
基于PHP+mysql实现新闻发布系统的开发
2020/08/06 PHP
prototype class详解
2006/09/07 Javascript
javascript cookies操作集合
2010/04/12 Javascript
基于jquery的多彩百分比 动态进度条 投票效果显示效果实现代码
2011/08/28 Javascript
推荐10个超棒的jQuery工具提示插件
2011/10/11 Javascript
关于IE BUG与字符串截取substr的解决办法
2013/04/10 Javascript
AngularJS实现数据列表的增加、删除和上移下移等功能实例
2016/09/05 Javascript
BootStrap轻松实现微信页面开发代码分享
2016/10/21 Javascript
微信小程序 vidao实现视频播放和弹幕的功能
2016/11/02 Javascript
jQuery特殊符号转义的实现
2016/11/30 Javascript
node.js的事件机制
2017/02/08 Javascript
基于bootstrap写的一点localStorage本地储存
2017/11/21 Javascript
让网站自动生成章节目录索引的多个js代码
2018/01/07 Javascript
vue 基于element-ui 分页组件封装的实例代码
2018/12/10 Javascript
nodejs中实现用户注册路由功能
2019/05/20 NodeJs
layui 阻止图片上传的实例(before方法)
2019/09/26 Javascript
[06:07]辉夜杯现场观众互动 “比谁远送显示器”
2015/12/26 DOTA
[01:06]欢迎来到上海,TI9
2018/08/26 DOTA
Python计时相关操作详解【time,datetime】
2017/05/26 Python
python实现创建新列表和新字典,并使元素及键值对全部变成小写
2019/01/15 Python
Python进阶之使用selenium爬取淘宝商品信息功能示例
2019/09/16 Python
AmazeUI 平滑滚动效果的示例代码
2020/08/20 HTML / CSS
Smallable英国家庭概念店:设计师童装及家居装饰
2017/07/05 全球购物
Hawes & Curtis官网:英国经典品牌
2019/07/27 全球购物
夏威夷咖啡公司:Hawaii Coffee Company
2019/09/19 全球购物
介绍一下Transact-SQL中SPACE函数的用法
2015/09/01 面试题
花店创业计划书范文
2014/02/07 职场文书
致百米运动员广播稿5篇
2014/10/13 职场文书
第一节英语课开场白
2015/06/01 职场文书
mysql升级到5.7时,wordpress导数据报错1067的问题
2021/05/27 MySQL
SpringBoot实现异步事件驱动的方法
2021/06/28 Java/Android
python pygame 开发五子棋双人对弈
2022/05/02 Python