Python3爬虫中pyspider的安装步骤


Posted in Python onJuly 29, 2020

pyspider是国人binux编写的强大的网络爬虫框架,它带有强大的WebUI、脚本编辑器、任务监控器、项目管理器以及结果处理器,同时支持多种数据库后端、多种消息队列,另外还支持JavaScript渲染页面的爬取,使用起来非常方便,本节介绍一下它的安装过程。

1. 相关链接

官方文档:http://docs.pyspider.org/

PyPI:https://pypi.python.org/pypi/pyspider

GitHub:https://github.com/binux/pyspider

官方教程:http://docs.pyspider.org/en/latest/tutorial

在线实例:http://demo.pyspider.org

2. 准备工作

pyspider是支持JavaScript渲染的,而这个过程是依赖于PhantomJS的,所以还需要安装PhantomJS(具体的安装过程详见1.2.5节)。

3. pip安装

这里推荐使用pip安装,命令如下:

pip3 install pyspider

命令执行完毕即可完成安装。

4. 常见错误

Windows下可能会出现这样的错误提示:

Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-vXo1W3/pycurl

这是PyCurl安装错误,此时需要安装PyCurl库。从http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl找到对应的Python版本,然后下载相应的wheel文件即可。比如Windows 64位、Python 3.6,则需要下载pycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl,随后用pip安装即可,命令如下:

pip3 install pycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl

如果在Linux下遇到PyCurl的错误,可以参考本文:https://3water.com/article/192094.htm。

5. 验证安装

安装完成之后,可以直接在命令行下启动pyspider:

pyspider all

此时控制台会有类似如图1-74所示的输出。

Python3爬虫中pyspider的安装步骤

这时pyspider的Web服务就会在本地5000端口运行。直接在浏览器中打开http://localhost:5000/,即可进入pyspider的WebUI管理页面,如图1-75所示,这证明pyspider已经安装成功了。

Python3爬虫中pyspider的安装步骤

后面,我们会详细介绍pyspider的用法。

到此这篇关于Python3爬虫中pyspider的安装步骤的文章就介绍到这了,更多相关Python3爬虫pyspider的安装内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Zabbix实现微信报警功能
Oct 09 Python
python爬虫的工作原理
Mar 05 Python
利用django如何解析用户上传的excel文件
Jul 24 Python
python 列表,数组,矩阵两两转换tolist()的实例
Apr 04 Python
让代码变得更易维护的7个Python库
Oct 09 Python
10分钟教你用Python实现微信自动回复功能
Nov 28 Python
python实现程序重启和系统重启方式
Apr 16 Python
如何用Python 实现全连接神经网络(Multi-layer Perceptron)
Oct 15 Python
利用python+request通过接口实现人员通行记录上传功能
Jan 13 Python
Python学习之包与模块详解
Mar 19 Python
Python实现双向链表
May 25 Python
Python绘制散点图之可视化神器pyecharts
Jul 07 Python
关于Python3爬虫利器Appium的安装步骤
Jul 29 #Python
Python3爬虫mitmproxy的安装步骤
Jul 29 #Python
Python使用jpype模块调用jar包过程解析
Jul 29 #Python
Python 防止死锁的方法
Jul 29 #Python
Python定义一个Actor任务
Jul 29 #Python
Python如何重新加载模块
Jul 29 #Python
Python加速程序运行的方法
Jul 29 #Python
You might like
与数据库连接
2006/10/09 PHP
解析php中heredoc的使用方法
2013/06/17 PHP
asp 的 分词实现代码
2007/05/24 Javascript
动态添加js事件实现代码
2009/03/12 Javascript
『jQuery』名称冲突使用noConflict方法解决
2013/04/22 Javascript
javascript数组操作方法小结和3个属性详细介绍
2014/07/05 Javascript
javascript实现节点(div)名称编辑
2014/12/17 Javascript
JS实现点击按钮控制Div变宽、增高及调整背景色的方法
2015/08/05 Javascript
JS+DIV+CSS实现仿表单下拉列表效果
2015/08/18 Javascript
jquery ajax分页插件的简单实现
2016/01/27 Javascript
分享12个实用的jQuery代码片段
2016/03/09 Javascript
详解Jquery的事件操作和文档操作
2016/12/19 Javascript
angularjs实现天气预报功能
2020/06/16 Javascript
vue-scroller记录滚动位置的示例代码
2018/01/17 Javascript
nuxt.js 缓存实践
2018/06/25 Javascript
vue用递归组件写树形控件的实例代码
2018/07/19 Javascript
vue select选择框数据变化监听方法
2018/08/24 Javascript
nodejs中使用archive压缩文件的实现代码
2019/11/26 NodeJs
javascript实现简易数码时钟
2020/03/30 Javascript
es6函数之rest参数用法实例分析
2020/04/18 Javascript
vue-iview动态新增和删除的方法
2020/06/17 Javascript
详解python的四种内置数据结构
2019/03/19 Python
如何使用python代码操作git代码
2020/02/29 Python
基于python实现计算两组数据P值
2020/07/10 Python
详解利用python识别图片中的条码(pyzbar)及条码图片矫正和增强
2020/11/17 Python
Myprotein加拿大官网:欧洲第一的运动营养品牌
2018/01/06 全球购物
意大利奢侈品牌在线精品店:Jole.it
2020/11/23 全球购物
下列程序在32位linux或unix中的结果是什么
2015/01/26 面试题
管道维修工岗位职责
2013/12/27 职场文书
人力资源部副职的竞聘演讲稿
2014/01/07 职场文书
篝火晚会策划方案
2014/05/16 职场文书
2014县政府领导班子三严三实对照检查材料思想汇报
2014/09/26 职场文书
高二数学教学反思
2016/02/18 职场文书
Python如何使用logging为Flask增加logid
2021/03/30 Python
使用Pytorch实现two-head(多输出)模型的操作
2021/05/28 Python
豆瓣2021评分最高动画剧集-豆瓣评分最高的动画剧集2021
2022/03/18 日漫