Python3环境安装Scrapy爬虫框架过程及常见错误


Posted in Python onJuly 12, 2019

Windows

•安装lxml

最好的安装方式是通过wheel文件来安装,http://www.lfd.uci.edu/~gohlke/pythonlibs/,从该网站找到lxml的相关文件。假如是Python3.5版本,WIndows 64位系统,那就找到lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl 这个文件并下载,然后通过pip安装。

下载之后,运行如下命令安装:

pip3 install wheel
pip3 install lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl

即可完成lxml的安装,其他文件替换文件名即可。

•安装zope.interface

到官方网站https://pypi.python.org/pypi/zope.interface#downloads下载对应版本的wheel文件,然后pip安装。比如Python 3.5版本,Windows 64位系统,就下载zope.interface-4.3.3-cp35-cp35m-win_amd64.whl

然后安装wheel文件即可,命令如下:

pip3 install zope.interface-4.3.3-cp35-cp35m-win_amd64.whl

其他版本替换文件名即可。

•安装pyOpenSSL

官方网站下载wheel文件,https://pypi.python.org/pypi/pyOpenSSL#downloads,如当前最新版本名称是pyOpenSSL-16.2.0-py2.py3-none-any.whl,下载后安装即可。

pip3 install pyOpenSSL-16.2.0-py2.py3-none-any.whl

•安装Twisted

同理,http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载wheel文件,利用pip安装即可。

如Python 3.5版本,Windows 64位系统,下载

Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl,然后pip安装。

pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl

•安装pywin32

从官方网站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下载对应版本的安装包安装即可。

•安装Scrapy

最后安装Scrapy即可,依然使用pip,命令如下:

pip3 install Scrapy

ps:下面看下Python 3.6 安装scrapy报错 Python.h: 没有那个文件或目录

安装scrapy的时候报错,其实这个错误是一个间接,由其依赖引起。

如果你是Python2.X  

sudo apt-get install python-dev

如果是python3.6 以下的

sudo apt-get install python3-dev

如果是Python3.6的

sudo apt-get install python3.6-dev

最后一个好变态,我一直在更新自己的Python3-dev 一直报错,最后猜一下竟然真的有Python3.6-dev...心累.

总结

以上所述是小编给大家介绍的Python3环境安装Scrapy爬虫框架过程及常见错误,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例
Jan 19 Python
在Python中使用模块的教程
Apr 27 Python
Python编程中运用闭包时所需要注意的一些地方
May 02 Python
python在linux系统下获取系统内存使用情况的方法
May 11 Python
Python实现网络端口转发和重定向的方法
Sep 19 Python
python中json格式数据输出的简单实现方法
Oct 31 Python
详解Python实现多进程异步事件驱动引擎
Aug 25 Python
TF-IDF算法解析与Python实现方法详解
Nov 16 Python
Python使用zip合并相邻列表项的方法示例
Mar 17 Python
python异步实现定时任务和周期任务的方法
Jun 29 Python
python logging.info在终端没输出的解决
May 12 Python
Django利用AJAX技术实现博文实时搜索
May 06 Python
Django中celery执行任务结果的保存方法
Jul 12 #Python
python hough变换检测直线的实现方法
Jul 12 #Python
Python实现的远程文件自动打包并下载功能示例
Jul 12 #Python
完美解决python3.7 pip升级 拒绝访问问题
Jul 12 #Python
在交互式环境中执行Python程序过程详解
Jul 12 #Python
pip指定python位置安装软件包的方法
Jul 12 #Python
python使用Pandas库提升项目的运行速度过程详解
Jul 12 #Python
You might like
php strcmp使用说明
2010/04/22 PHP
一个显示效果非常不错的PHP错误、异常处理类
2014/03/21 PHP
CI框架在CLI下执行占用内存过大问题的解决方法
2014/06/17 PHP
PHP抓取网页、解析HTML常用的方法总结
2015/07/01 PHP
PHP弱类型的安全问题详细总结
2016/09/25 PHP
详解php几行代码实现CSV格式文件输出
2017/07/01 PHP
php实现保存周期为1天的购物车类
2017/07/07 PHP
PHP调用接口用post方法传送json数据的实例
2018/05/31 PHP
php-7.3.6 编译安装过程
2020/02/11 PHP
jQuery 标题的自动翻转实现代码
2009/10/14 Javascript
JQuery困惑—包装集 DOM节点
2009/10/16 Javascript
对字符串进行HTML编码和解码的JavaScript函数
2010/02/01 Javascript
JAVASCRIPT车架号识别/验证函数代码 汽车车架号验证程序
2012/01/08 Javascript
jquery写个checkbox——类似邮箱全选功能
2013/03/19 Javascript
JQuery制作的放大效果的popup对话框(未添加任何jquery plugin)分享
2013/04/28 Javascript
js判断页面中是否有指定控件的简单实例
2014/03/04 Javascript
jquery插件uploadify实现带进度条的文件批量上传
2015/12/13 Javascript
javascript中Date format(js日期格式化)方法小结
2015/12/17 Javascript
基于JavaScript如何制作遮罩层对话框
2016/01/26 Javascript
Bootstrap布局组件应用实例讲解
2016/02/17 Javascript
jQuery遍历json的方法(推荐)
2016/06/12 Javascript
JS实现页面内跳转的简单代码
2017/09/03 Javascript
vue-cli3.0 特性解读
2018/04/22 Javascript
微信小程序修改swiper默认指示器样式的实例代码
2018/07/18 Javascript
Vue入门学习笔记【基本概念、对象、过滤器、指令等】
2019/04/13 Javascript
vue瀑布流组件实现上拉加载更多
2020/03/10 Javascript
[31:55]完美世界DOTA2联赛循环赛 IO vs GXR BO2第一场 11.04
2020/11/05 DOTA
使用Python标准库中的wave模块绘制乐谱的简单教程
2015/03/30 Python
Python3多线程基础知识点
2019/02/19 Python
python批量修改文件夹及其子文件夹下的文件内容
2019/03/15 Python
Python 如何创建一个简单的REST接口
2020/07/30 Python
Python 的 __str__ 和 __repr__ 方法对比
2020/09/02 Python
2014年三八妇女节活动总结
2014/03/01 职场文书
2014年教育实习工作总结
2014/11/22 职场文书
写给医护人员的一封感谢信
2019/09/16 职场文书
ElementUI实现el-form表单重置功能按钮
2021/07/21 Javascript