Python3环境安装Scrapy爬虫框架过程及常见错误


Posted in Python onJuly 12, 2019

Windows

•安装lxml

最好的安装方式是通过wheel文件来安装,http://www.lfd.uci.edu/~gohlke/pythonlibs/,从该网站找到lxml的相关文件。假如是Python3.5版本,WIndows 64位系统,那就找到lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl 这个文件并下载,然后通过pip安装。

下载之后,运行如下命令安装:

pip3 install wheel
pip3 install lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl

即可完成lxml的安装,其他文件替换文件名即可。

•安装zope.interface

到官方网站https://pypi.python.org/pypi/zope.interface#downloads下载对应版本的wheel文件,然后pip安装。比如Python 3.5版本,Windows 64位系统,就下载zope.interface-4.3.3-cp35-cp35m-win_amd64.whl

然后安装wheel文件即可,命令如下:

pip3 install zope.interface-4.3.3-cp35-cp35m-win_amd64.whl

其他版本替换文件名即可。

•安装pyOpenSSL

官方网站下载wheel文件,https://pypi.python.org/pypi/pyOpenSSL#downloads,如当前最新版本名称是pyOpenSSL-16.2.0-py2.py3-none-any.whl,下载后安装即可。

pip3 install pyOpenSSL-16.2.0-py2.py3-none-any.whl

•安装Twisted

同理,http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载wheel文件,利用pip安装即可。

如Python 3.5版本,Windows 64位系统,下载

Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl,然后pip安装。

pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl

•安装pywin32

从官方网站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下载对应版本的安装包安装即可。

•安装Scrapy

最后安装Scrapy即可,依然使用pip,命令如下:

pip3 install Scrapy

ps:下面看下Python 3.6 安装scrapy报错 Python.h: 没有那个文件或目录

安装scrapy的时候报错,其实这个错误是一个间接,由其依赖引起。

如果你是Python2.X  

sudo apt-get install python-dev

如果是python3.6 以下的

sudo apt-get install python3-dev

如果是Python3.6的

sudo apt-get install python3.6-dev

最后一个好变态,我一直在更新自己的Python3-dev 一直报错,最后猜一下竟然真的有Python3.6-dev...心累.

总结

以上所述是小编给大家介绍的Python3环境安装Scrapy爬虫框架过程及常见错误,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python 多进程通信模块的简单实现
Feb 20 Python
Python安装使用命令行交互模块pexpect的基础教程
May 12 Python
用Python3创建httpServer的简单方法
Jun 04 Python
pymongo中group by的操作方法教程
Mar 22 Python
Python with用法:自动关闭文件进程
Jul 10 Python
Python队列RabbitMQ 使用方法实例记录
Aug 05 Python
查看Python依赖包及其版本号信息的方法
Aug 13 Python
基于python3监控服务器状态进行邮件报警
Oct 19 Python
python 实现方阵的对角线遍历示例
Nov 29 Python
使用OpenCV-python3实现滑动条更新图像的Canny边缘检测功能
Dec 12 Python
python有几个版本
Jun 17 Python
python 闭包函数详细介绍
Apr 19 Python
Django中celery执行任务结果的保存方法
Jul 12 #Python
python hough变换检测直线的实现方法
Jul 12 #Python
Python实现的远程文件自动打包并下载功能示例
Jul 12 #Python
完美解决python3.7 pip升级 拒绝访问问题
Jul 12 #Python
在交互式环境中执行Python程序过程详解
Jul 12 #Python
pip指定python位置安装软件包的方法
Jul 12 #Python
python使用Pandas库提升项目的运行速度过程详解
Jul 12 #Python
You might like
php格式化工具Beautify PHP小小BUG
2008/04/24 PHP
PHP Zip压缩 在线对文件进行压缩的函数
2010/05/26 PHP
PHP的伪随机数与真随机数详解
2015/05/27 PHP
网页的分页下标生成代码(PHP后端方法)
2016/02/03 PHP
PHP精确计算功能示例
2016/11/29 PHP
详解PHP使用Redis存储session时的一个Warning定位
2017/07/05 PHP
php实现商城购物车的思路和源码分析
2020/07/23 PHP
脚本之家贴图转换+转贴工具用到的js代码超级推荐
2007/04/05 Javascript
Javascript 按位左移运算符使用介绍(
2014/02/04 Javascript
JavaScript设计模式之单例模式实例
2014/09/24 Javascript
javascript强制点击广告的方法
2015/02/06 Javascript
Node.js抓取中文网页乱码问题和解决方法
2015/02/10 Javascript
jQuery实现页面内锚点平滑跳转特效的方法总结
2015/05/11 Javascript
jquery实现仿新浪微博评论滚动效果
2015/08/06 Javascript
实例讲解javascript注册事件处理函数
2016/01/09 Javascript
JavaScript中在光标处插入添加文本标签节点的详细方法
2017/03/22 Javascript
详谈ES6中的迭代器(Iterator)和生成器(Generator)
2017/07/31 Javascript
JavaScript实现构造json数组的方法分析
2018/08/17 Javascript
深入了解query和params的使用区别
2019/06/24 Javascript
p5.js实现动态图形临摹
2019/10/23 Javascript
Python中Collections模块的Counter容器类使用教程
2016/05/31 Python
深入理解Python3 内置函数大全
2017/11/23 Python
windows下Virtualenvwrapper安装教程
2017/12/13 Python
解决Django数据库makemigrations有变化但是migrate时未变动问题
2018/05/30 Python
详解Django中CBV(Class Base Views)模型源码分析
2019/02/25 Python
Django实现学员管理系统
2019/02/26 Python
如何使用Python实现自动化水军评论
2019/06/26 Python
Python(PyS60)实现简单语音整点报时
2019/11/18 Python
python实现梯度法 python最速下降法
2020/03/24 Python
python else语句在循环中的运用详解
2020/07/06 Python
python如何编写类似nmap的扫描工具
2020/11/06 Python
护理专业毕业生自荐信范文
2014/01/05 职场文书
乡镇保密工作承诺书
2015/05/04 职场文书
泰坦尼克号观后感
2015/06/04 职场文书
2016公司年会主持词
2015/07/01 职场文书
Mysql Innodb存储引擎之索引与算法
2022/02/15 MySQL