Python3环境安装Scrapy爬虫框架过程及常见错误


Posted in Python onJuly 12, 2019

Windows

•安装lxml

最好的安装方式是通过wheel文件来安装,http://www.lfd.uci.edu/~gohlke/pythonlibs/,从该网站找到lxml的相关文件。假如是Python3.5版本,WIndows 64位系统,那就找到lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl 这个文件并下载,然后通过pip安装。

下载之后,运行如下命令安装:

pip3 install wheel
pip3 install lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl

即可完成lxml的安装,其他文件替换文件名即可。

•安装zope.interface

到官方网站https://pypi.python.org/pypi/zope.interface#downloads下载对应版本的wheel文件,然后pip安装。比如Python 3.5版本,Windows 64位系统,就下载zope.interface-4.3.3-cp35-cp35m-win_amd64.whl

然后安装wheel文件即可,命令如下:

pip3 install zope.interface-4.3.3-cp35-cp35m-win_amd64.whl

其他版本替换文件名即可。

•安装pyOpenSSL

官方网站下载wheel文件,https://pypi.python.org/pypi/pyOpenSSL#downloads,如当前最新版本名称是pyOpenSSL-16.2.0-py2.py3-none-any.whl,下载后安装即可。

pip3 install pyOpenSSL-16.2.0-py2.py3-none-any.whl

•安装Twisted

同理,http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载wheel文件,利用pip安装即可。

如Python 3.5版本,Windows 64位系统,下载

Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl,然后pip安装。

pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl

•安装pywin32

从官方网站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下载对应版本的安装包安装即可。

•安装Scrapy

最后安装Scrapy即可,依然使用pip,命令如下:

pip3 install Scrapy

ps:下面看下Python 3.6 安装scrapy报错 Python.h: 没有那个文件或目录

安装scrapy的时候报错,其实这个错误是一个间接,由其依赖引起。

如果你是Python2.X  

sudo apt-get install python-dev

如果是python3.6 以下的

sudo apt-get install python3-dev

如果是Python3.6的

sudo apt-get install python3.6-dev

最后一个好变态,我一直在更新自己的Python3-dev 一直报错,最后猜一下竟然真的有Python3.6-dev...心累.

总结

以上所述是小编给大家介绍的Python3环境安装Scrapy爬虫框架过程及常见错误,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python中实现对Timestamp和Datetime及UTC时间之间的转换
Apr 08 Python
Python学习教程之常用的内置函数大全
Jul 14 Python
利用python打印出菱形、三角形以及矩形的方法实例
Aug 08 Python
Django压缩静态文件的实现方法详析
Aug 26 Python
Python中is和==的区别详解
Nov 15 Python
python中import与from方法总结(推荐)
Mar 21 Python
使用Python检测文章抄袭及去重算法原理解析
Jun 14 Python
python try except返回异常的信息字符串代码实例
Aug 15 Python
python实现最大优先队列
Aug 29 Python
关于Python 常用获取元素 Driver 总结
Nov 24 Python
python实现UDP协议下的文件传输
Mar 20 Python
用Python爬虫破解滑动验证码的案例解析
May 06 Python
Django中celery执行任务结果的保存方法
Jul 12 #Python
python hough变换检测直线的实现方法
Jul 12 #Python
Python实现的远程文件自动打包并下载功能示例
Jul 12 #Python
完美解决python3.7 pip升级 拒绝访问问题
Jul 12 #Python
在交互式环境中执行Python程序过程详解
Jul 12 #Python
pip指定python位置安装软件包的方法
Jul 12 #Python
python使用Pandas库提升项目的运行速度过程详解
Jul 12 #Python
You might like
解析PHP中intval()等int转换时的意外异常情况
2013/06/21 PHP
php获取指定日期之间的各个周和月的起止时间
2014/11/24 PHP
PHP实现通过Luhn算法校验信用卡卡号是否有效
2015/03/23 PHP
PHP排序算法类实例
2015/06/17 PHP
PHP 获取ip地址代码汇总
2015/07/05 PHP
功能强大的PHP图片处理类(水印、透明度、旋转)
2015/10/21 PHP
js 模拟气泡屏保效果代码
2010/07/10 Javascript
jquery 实现返回顶部功能
2014/11/17 Javascript
JavaScript比较两个对象是否相等的方法
2015/02/06 Javascript
JS实现控制表格行文本对齐的方法
2015/03/30 Javascript
javascript比较两个日期相差天数的方法
2015/07/24 Javascript
JS鼠标拖拽实例分析
2015/11/23 Javascript
快速解决Canvas.toDataURL 图片跨域的问题
2016/05/10 Javascript
微信小程序 五星评价功能的实现
2017/03/09 Javascript
微信小程序中子页面向父页面传值实例详解
2017/03/20 Javascript
[原创]jquery判断元素内容是否为空的方法
2018/05/04 jQuery
JS实现select选中option触发事件操作示例
2018/07/13 Javascript
基于vue循环列表时点击跳转页面的方法
2018/08/31 Javascript
Vue递归实现树形菜单方法实例
2018/11/06 Javascript
简单分析js中的this的原理
2019/08/31 Javascript
Weex开发之地图篇的具体使用
2019/10/16 Javascript
JS hasOwnProperty()方法检测一个属性是否是对象的自有属性的方法
2021/01/29 Javascript
浅析Python中的序列化存储的方法
2015/04/28 Python
python中enumerate函数用法实例分析
2015/05/20 Python
python实现rsa加密实例详解
2017/07/19 Python
对python3 urllib包与http包的使用详解
2018/05/10 Python
通过PHP与Python代码对比的语法差异详解
2019/07/10 Python
Python爬虫之urllib基础用法教程
2019/10/12 Python
python的faker库用法
2019/11/28 Python
Django设置Postgresql的操作
2020/05/14 Python
python中pow函数用法及功能说明
2020/12/04 Python
2014年创卫实施方案
2014/02/18 职场文书
工程采购员岗位职责
2014/03/09 职场文书
2015年中秋节活动总结
2015/03/23 职场文书
Python基础之变量的相关知识总结
2021/06/23 Python
clear 万能清除浮动(clearfix:after)
2023/05/21 HTML / CSS